序 一 




















几 个 月 前 ， 机 械 工业 出 版 社 华章 公司 的 高 婧 雅 找 我 ， 扔 给 我 一 个 章节 ， 说 是 黄 勇 团 队 的 新 书 ， 让 我 帮忙 看 看 。 我 当时 是 一 口气 看 完 ， 还 意犹未尽 地 问 高 姐 ， 还 有 没有 其 他 的 。 我 是 有 惊喜 
到 的 。 这 行文 的 风格 让 我 想起 了 另外 一 本 书 一 一 《Ruby 元 编程 》， 一 本 非常 有 趣 的 技术 书 。 当 时 我 就 想 等 到 黄 勇 的 书 问世 ， 会 又 多 了 一 本 类 似 的 书 。 











我 看 的 技术 书 不 多 ， 软 件 测试 相关 的 书籍 就 更 少 了 ， 主 要 的 原因 是 过 于 枯燥 ， 要 么 是 长 篇 的 理论 ， 要 么 就 是 不 入 流 的 翻译 ， 更 多 的 是 工具 书 ， 通 常会 在 用 到 的 时 候 才 去 翻 一 翻 。 而 对 于 黄 
勇 这 本 书 ， 我 感觉 我 会 愿意 带 在 身边 ， 在 地 铁 上 翻 翻 ， 在 咖啡 间 读 读 。 能 把 软件 测试 的 理论 实践 写成 了 一 个 个 软件 测试 工程 师 亲 身 经 历 的 故事 ， 黄 勇 应 该 是 首创 ， 其 生动 有 趣 又 不 乏 思 考 。 



































在 那 之 后 ， 我 常常 会 问 高 姐 这 本 书 的 进度 ， 因 为 我 非常 想 把 这 本 书 分 享 给 我 们 TesterHome 的 成 员 们 。 上 个 礼拜 ， 黄 勇 在 微 信 上 找 我 ， 我 想 这 书 成 了 。 黄 勇 给 我 4 个 章节 ， 这 次 我 没有 一 
下 看 完 ， 而 是 一 篇 篇 仔细 研读 。 小 故事 (实际 案例 ) 提取 出 “核心 知识 点 ”， 再 延伸 到 “拓展 知识 点 ”， 给 人 一 种 身 临 其 境 的 感觉 ， 好 像 在 做 这 项 测试 的 就 是 读者 自己 。 作 者 在 案例 的 选择 上 
非常 用 心 ， 典 型 又 不 失 新 意 ， 浅 显 又 不 乏 深意 。 提 炼 出 来 的 核心 知识 点 简约 严谨 ， 针 对 性 强 ， 不 拖泥带水 。“ 拓 展 知识 点 ”类 似 语文 课本 里 的 课 后 阅读 。 


















































粗略 看 了 下 目录 ， 该 书 涉及 了 网 页 应 用 的 功能 、 安 全 、 性 能 、 自 动 化 等 测试 内 容 ， 也 涉猎 了 移动 端 相关 的 实践 。 从 我 看 的 内 容 来 看 ， 非 常 适合 有 一 两 年 软件 测试 经 验 的 读者 阅读 ， 在 此 也 
欢迎 大 家 来 TesterHome 社 区 多 写 书评 。 (“ 无 耻 ” 的 广告 ， 真 想 拉 黄 勇 做 一 波 赠 书 的 活动 。) 

















软件 测试 图 里 不 缺 各 种 严肃 的 学 院 派 书籍 ， 也 不 缺 各 种 实干 派 的 工具 书 ， 前 者 还 好 ， 后 者 往往 是 从 事 软件 测试 的 IT 人 员 写 的 ， 这 种 书 普遍 有 个 特点 就 是 文笔 不 好 ， 行 文生 硬 刻 板 ， 读 起 来 
毫 无 趣味 。 我 一 直 非 常 固执 地 认为 ， 书 一 定 是 要 有 笔力 的 人 写 出 来 才 好 ， 我 看 过 黄 勇 的 博客 ， 这 次 再 看 到 这 些 章节 ， 我 认为 从 文笔 上 来 阅 ， 这 是 本 合格 的 书 。 















































读书 容易 写 书 难 ， 一 字 一 句 费 思量 ,希望 软件 测试 工作 者 能 好 好 珍惜 这 本 书 。 





一 一 张 立 华 (恒温) ，TesterHome 社 区 发 起 人 ， 阿 里 口碑 高 级 测试 工程 师 


序 二 





2006 年 开始 软件 测试 的 生涯 ， 记 得 当时 讲 软件 测试 的 书 并 不 多 ， 有 几 本 比较 好 的 书 也 是 从 国外 引进 翻译 来 的 。 十 多 年 过 去 了 ， 从 一 开始 做 PC 端的 应 用 程序 的 功能 测试 ， 到 后 来 做 Web 系 
统 的 自动 化 测试 ， 目 前 在 互联 网 公司 负责 电 商 业务 后 台 系 统 的 持续 集成 方案 。 期 间 经 历 了 软件 测试 行业 的 不 断 发 展 ， 测 试 工程 师 的 职责 和 作用 也 在 不 断 发 生 着 变化 ， 对 测试 工程 师 的 要 求 也 越 
来 越 高 。 


























想 要 成 为 一 名 合格 的 测试 工程 师 ， 入 门 首先 需要 具备 基本 的 软件 测试 理论 基础 ， 要 能 开展 工作 ， 就 必须 要 了 解 所 在 行业 的 业务 背景 知识 ， 要 想 更 多 地 发 现 缺陷 和 更 准确 地 定位 缺陷 ， 还 要 
学 习 Web 系 统 或 移动 应 用 相关 技术 知识 ， 想 更 进一步 ， 全 面 提升 软件 质量 ， 就 需要 从 代码 、 功 能 、 安 全 、 性 能 和 易 用 性 多 个 层面 去 着 手 。 本 书 是 一 本 难得 的 涉及 以 上 所 有 这 些 知识 和 技能 的 著 
作 ， 通 过 案例 教学 的 方式 生动 地 再 现 了 真实 的 工作 场景 ， 从 实际 案例 场景 引发 读者 思考 ， 又 由 思考 激发 读者 对 相关 知识 和 技能 的 学 习 兴 趣 ， 通 过 这 样 一 个 又 一 个 的 学 习 旋 转 式 上 升 ， 引 导读 者 
逐 层 深 入 ， 逐 步 宽 探 到 做 一 名 合格 软件 测试 工程 师 所 需 的 知识 与 技能 图 谱 。 













































































现在 很 多 的 互联 网 企业 里 ， 大 都 会 有 软件 测试 工程 师 和 测试 开发 工程 师 两 种 角色 。 那 么 他 们 都 是 为 软件 质量 负责 的 吗 ， 区 别 又 在 哪里 呢 ? 软件 测试 工程 师 更 加 偏重 于 测试 ， 比 如 功能 测 
试 、 性 能 测试 、 安 全 测试 ， 等 等 ; 而 测试 开发 工程 师 更 加 偏重 于 开发 ， 包 含 自动 化 测试 框架 开发 、 性 能 测试 工具 开发 、 安 全 测试 工具 开发 与 其 他 质量 与 效率 的 工具 开发 等 。 产 生 这 两 种 分 工 的 
在 于 互联 网 企业 对 速度 的 追求 ， 要 达到 快速 交付 、 快 速 收 集 与 反馈 、 快 速 进入 下 一 个 迭代 ， 那 么 就 需要 在 提升 效率 上 下 一 番 工 夫 ， 这 时 候 就 可 以 通过 应 用 一 些 开源 工具 或 者 自 研 工具 来 提 
测试 阶段 乃至 整个 研发 阶段 的 效率 。 了 解 到 这 两 种 角色 的 职责 和 作用 ， 那 么 我 们 软件 测试 从 业者 在 自己 的 职业 发 展 生涯 中 就 能 够 找 准 自己 的 方向 ， 不 断 提升 自己 的 技术 能 力 和 业务 能 力 。 



























































六 河 
涪 部 




















黄 勇 老师 目前 所 在 的 ThoughtWorks 公 司 是 把 敏捷 思想 引入 中 国 的 先驱 ， 在 敏捷 软件 开发 和 敏捷 测试 理论 的 落地 方面 处 于 行业 领先 地 位 。 敏 捷 软 件 开发 思想 进一步 拓展 了 作为 软件 测试 工 
程 师 的 职责 范围 ， 敏 捷 思想 鼓励 职责 模糊 ， 整 个 团队 都 要 为 质量 负责 ， 而 不 只 是 软件 测试 工程 师 ， 鼓励 团队 成 员 在 软件 开发 全 过 程 中 参与 软件 质量 的 保证 ， 而 不 只 是 等 开发 阶段 完成 以 后 再 开 
始 关注 质量 ; 提倡 持续 交付 和 自动 化 测试 ， 通 过 整个 软件 开发 流程 的 自动 化 来 提升 软件 交付 效率 。 那 么 在 这 样 的 一 种 思想 指导 下 ， 软 件 测试 工程 师 就 可 以 做 更 多 的 工作 ， 比 如 参与 到 需求 阶 
段 ， 通 过 实例 化 需求 和 BDD (行为 驱动 开发 ) 的 方式 来 使 需求 对 技术 人 员 而 言 更 易 懂 、 自 动 化 和 友好 ; 也 可 以 参与 到 软件 开发 阶段 ， 通 过 构建 持续 代码 扫描 机 制 来 提升 代码 的 质量 ;还 可 以 参 
与 到 运 维 发 布 阶段 ， 通 过 构建 持续 交付 的 流水 线 来 实现 产品 的 快速 发 布 。 











































































































随 着 IT 行业 的 发 展 ， 软 件 测试 也 跟着 从 一 开始 的 PC 端 应 用 程序 测试 ， 到 Web 应 用 程序 测试 ， 再 到 移动 互联 网 测试 。 这 样 对 软件 测试 工程 师 的 要 求 也 不 同 了 ， 本 书 通 过 案例 的 形式 讲解 了 
在 Web 应 用 程序 测试 和 移动 互联 网 测试 中 遇 到 的 一 些 问题 与 处 理 方法 。 我 看 完 本 书 以 后 ， 问 黄 勇 考 师 “这些 案例 都 是 真实 的 吗 ”” 黄 勇 老师 说 都 是 真实 的 案例 。 通 过 在 日 常 软件 测试 工作 中 发 
现 的 一 些 有 意思 的 缺陷 的 收集 ， 进 一 步 分 析 产 生 该 缺陷 的 前 因 后 果 ， 并 且 给 出 发 现 该 缺陷 所 用 到 的 关键 技能 和 知识 。 这 种 趣味 性 和 知识 性 兼备 的 方式 ， 吸 引 着 我 一 口气 看 完了 全 书 ， 看 到 一 些 
似曾相识 的 案例 时 ， 也 不 由 得 会 心 一 笑 。 非 常 希 望 我 们 软件 测试 行业 能 有 更 多 这 样 的 好 书 。 



























































能 志 男 ， 测 试 寅 测试 社区 创始 人 ， 京 东 商 城 高 级 测试 开发 工程 师 


序 三 






































随 着 中 国 软件 行业 的 发 展 ， 在 IT 和 互联 网 技术 的 广泛 应 用 、 用 户 对 产品 质量 有 了 更 高 追求 的 推动 下 ， 中 国 的 软件 测试 行业 在 最 近 几 年 也 有 了 飞速 的 发 展 。 与 第 一 代 软 件 测试 人 员 是 从 经 验 
丰富 的 程序 员 直接 转岗 不 同 ， 从 各 大 高 校 的 软件 工程 、 计 算 机 相关 专业 招聘 软件 测试 工程 师 〈 即 校 招 ) 已 经 变 成 了 各 大 公司 的 主要 途径 。 由 于 大 多 数学 校 里 并 没有 成 体系 的 软件 测试 的 课程 ， 
很 多 同学 对 软件 测试 这 个 岗位 也 并 不 是 十 分 的 了 解 ， 甚 至 有 时 候选 择 软件 测试 的 原因 是 工作 相对 轻松 或 者 其 代码 能 力 达 不 到 程序 员 的 要 求 等 。 




































































大 量 的 新 手 进入 软件 测试 行业 后 ， 中 小 公司 内 部 相对 比较 缺乏 专业 技术 培训 和 正确 的 引导 ， 频 繁 且 重复 的 黑 盒 测试 执行 工作 使 很 多 测试 新 人 觉得 软件 测试 是 一 个 没有 技术 含量 也 没有 前 途 

















的 工作 。 然 而 ， 软 件 测试 其 实 是 一 个 很 依赖 于 经 验 的 岗位 ， 有 丰富 产品 测试 经 验 和 对 产品 实现 有 深入 理解 的 测试 工程 师 就 像 一 位 大 师 ， 往 往 能 在 短 时 间 内 发 现 和 定位 一 个 问题 并 提出 建议 的 解 
决 方案 。 对 有 志 于 投身 软件 测试 领域 和 仍然 处 在 入 门 阶段 的 初学 者 来 说 ， 市 面 上 多 数 的 书籍 偏 理论 化 ， 阅 读 起 来 枯燥 乏味 ， 在 实际 项 目 中 又 无 法 落地 ， 更 谈 不 上 进 阶 为 高 手 了 。 就 像 《 后 会 无 
期 》 里 的 那 句 话 ，“ 听 过 很 多 道理 ， 却 依然 过 不 好 这 一 生 。” 
































黄 勇 是 行业 内 资深 的 质量 分 析 师 ， 拥 有 多 年 软件 测试 背景 ， 他 善于 分 析 归 纳 和 总 结 经 验 ， 并 且 总 会 用 通俗 、 轻 松 的 语言 来 讲述 枯燥 的 技术 知识 。 上 一 次 他 的 《移动 App 测 试 的 22 条 军 规 》 
一 书 通 过 22 条 来 自 于 测试 实战 中 的 最 佳 实践 展示 了 移动 App 测 试 中 心思 想 ， 这 次 他 总 结 了 Web 测 试 过 程 中 常见 的 测试 类 型 和 常见 问题 ， 把 Web 测 试 的 核心 知识 点 、 扩 展 知识 点 与 实际 的 测试 
， 并 引发 思考 。 


任务 结合 起 来 ， 通 过 测试 新 人 小 蔡 遇 到 的 一 个 个 真实 的 场景 和 案例 ， 让 读者 学 有 所 得 




















很 高 兴 黄 勇 愿 意 用 一 本 书 来 分 享 他 在 Web 测 试 领域 的 心得 ， 这 是 一 本 用 心 写 就 的 书 ， 也 希望 每 一 位 读者 用 心 去 学 习 、 去 思考 、 去 实践 ， 借 鉴 前 辈 们 的 经 验 快速 地 成 长 ， 享 受 学 习 带 来 的 快 
乐 。 











陈 永康 ， 网 龙 网 络 公司 软件 测试 总 监 


为 什么 要 写 这 本 书 





1) 人 不 能 像 走兽 那样 活着 ， 应 该 追求 知识 和 美德 。 但 丁 


2) 助人 为 乐 ， 人 生 一 美德 。 

















我 们 4 个 作者 加 起 来 年 龄 过 百 ， 而 且 有 着 年 超 半 百 的 工作 经 验 ， 算 起 来 也 是 测试 领域 的 老 岛 了。 





根据 上 面 的 1) 和 2) ， 我 们 得 出 一 个 很 重要 的 结论 : 




















经 过 这 么 多 年 在 工作 中 不 断 总 结 经 验 ， 时 不 时 与 Bug 斗 智 斗 勇 ， 最 后 提炼 出 来 的 经 验 ， 我 们 希望 能 分 享 给 更 多 的 人 ， 更 重要 的 是 能 抛砖引玉 ， 引 发 对 更 优秀 的 工作 方式 和 实践 的 思考 。 


为 什么 需要 看 这 本 书 


怎样 判断 你 是 否 需要 这 本 书 ?以 下 场景 ， 如 果 8 条 以 内 你 都 似曾相识 ， 那 么 请 看 这 本 书 吧 ! 








1) 测试 过 程 中 ， 某 个 功能 的 测试 除了 依据 需求 文档 编写 测试 用 例 ， 好 像 找 不 到 别 的 测试 点 了 。 





2) 按 需求 文档 编写 的 测试 用 例 ， 执 行 过 后 测试 都 通过 了 ， 但 自己 还 是 没有 信心 ， 总 觉得 还 有 没 测 到 的 地 方 。 就 像 都 出 门 了 ， 还 在 怀疑 自己 究竟 是 否 锁 门 了 。 

















3) 产品 上 线 了 ，Bug 出 来 了 。 为 什么 老 是 遗漏 ? 























4) 当前 测试 的 功能 怎么 和 之 前 项 目的 很 相似 ， 当 时 还 发 现 了 一 个 很 有 意思 、 很 难 发 现 的 问题 ， 可 现在 居然 想 不 起 来 了 。 接 着 ， 又 重新 慢 慢 摸索 。 要 是 有 记录 可 以 翻 查 多 好 ! 











5) 发 现 一 个 Bug， 提 交 请 求 修复 时 ， 却 被 要 求 提供 更 多 信息 。 更 多 信息 ”怎么 提供 ， 不 知道 ， 找 不 着 ， 没 头绪 。 








6) 团队 其 他 测试 人 员 遇 到 技术 问题 ， 我 却 只 能 抓 吓 挠 妥 ， 无 法 提供 更 多 帮助 ， 怎 么 办 ? 














7) 分 析 测 试 进度 和 风险 时 ， 文 档 是 写 了 ， 内 容 却 无 关 痛 痒 。 问 题 的 实质 在 哪里 ”貌似 离 我 有 点 远 。 








8) 开发 过 程 中 ， 不 知道 自己 编写 的 代码 质量 怎样 ， 哪 些 Bug 会 变 身 为 “大 笑话 ”。 


你 符合 哪 一 条 或 者 哪 几 条 ? 


这 本 书 到 底 写 了 些 什么 





归根 结 底 : 总 结 工作 中 发 现 、 解 决 Bug 的 经 验 ， 并 通过 一 个 个 活生生 的 故事 描述 出 来 ， 能 让 你 开拓 思维 、 唤 起 记忆 、 深 入 知识 、 学 以 致 用 ， 把 这 些 经 验 积累 的 精华 举一反三 地 运用 到 自己 
的 项 目 中 。 


本 书 特色 





以 大 型 购物 网 站 Web 测 试 为 背景 场景 ， 以 初 入 测试 领域 的 小 莹 为 主人 公 ， 以 功能 测试 、 性 能 测试 、 安 全 性 测试 、 自 动 化 测试 、 移 动 Web 测 试 、 非 功能 性 测试 以 及 其 他 类 型 的 测试 为 主 
线 ， 向 大 家 展示 不 同 测试 场景 下 ， 如 何 发 现 、 分 析 并 解决 问题 。 








本 书 通过 对 故事 的 分 析 ， 引 出 缺陷 出 现 的 规律 和 模式 ， 并 通过 对 缺陷 模式 的 总 结 和 抽象 化 ， 提 示 大 家 在 以 后 的 测试 中 如 何 更 高 效 地 捕捉 类 似 缺 陷 。 








本 书 并 没有 详细 描述 如 何 通过 对 Bug 的 分 析 发 现 开发 人 员 的 开发 模式 ， 以 避免 缺陷 。 所 以 ， 如 何 预 防 开发 人 员 编写 存在 缺陷 的 代码 ， 帮 助 他 们 了 解 自己 的 弱点 ， 使 之 有 针对 性 地 提高 ， 就 
需要 读者 们 从 这 一 个 个 小 故事 中 “ 悟 ”。 




















读者 对 象 


“ 测试 工程 师 


“ 测试 经 理 


“ 业务 分 析 师 





“ 系统 架构 师 


“ 其 他 对 测试 技术 感 兴趣 的 人 员 


如 何 阅读 本 书 


本 书 着 重 讲解 Web 测 试 中 可 能 遇 到 的 各 种 问题 以 及 思考 和 解决 思路 ， 包 括 以 下 10 章 内 容 。 

















第 1~ 4 章 这 4 章 重 点 介绍 了 Web 测 试 中 最 为 关键 的 功能 测试 ， 并 从 开发 和 测试 技术 、 测 斌 覆盖 率 、 测 试 实践 及 业务 需求 4 个 方面 分 析 了 功能 测试 中 Bug 产 生 的 原因 及 其 解决 思路 。 
第 5、6 章 “详细 介绍 在 Web 测 试 中 安全 和 性 能 测试 要 怎么 做 ， 作 为 一 个 非 专业 安全 /性 能 测试 的 人 员 ， 从 思维 和 实践 上 如 何 进行 安全 和 性 能 测试 。 


第 7 章 ”详细 介绍 在 进行 Web 自 动 化 测试 过 程 中 你 可 能 遇 到 的 各 种 “ 坑 ”， 以 及 如 何 应 对 和 预防 。 





第 8 章 ”详细 介绍 了 在 移动 应 用 迅猛 发 展 的 浪潮 下 ， 针 对 移动 Web 测 试 我 们 需要 进行 什么 样 的 调整 。 








第 9 章 ”介绍 了 非 功 能 性 的 其 他 测试 ， 例 如 可 用 性 测试 及 本 地 化 和 全 球 化 测试 是 如 何 运 用 在 项 目 中 ， 保 证 产品 质量 的 。 








第 10 章 ”通过 介绍 在 需求 灌 清 、 测 试 环境 管理 和 运 维 中 的 测试 实践 ， 阐 述 如 何 通 过 这 几 方 面 的 测试 活动 提升 产品 质量 。 








附录 人 A 介绍 了 可 以 移植 到 更 多 项 目 中 的 Web 测 试 优秀 实践 ， 附 录 B 为 广大 测试 人 员 展 现 了 可 以 大 展 宏图 的 职业 路 径 。 



































希望 读者 在 开始 阅读 本 书 之 前 ， 已 具备 基础 的 测试 理论 知识 。 在 阅读 中 ， 希 望 读 者 能 在 阅读 完 每 一 个 故事 后 ， 留 给 自己 一 点 时 间 重 新 审视 故事 的 内 容 ， 想 一 想 故 事 中 的 场景 与 自己 工作 中 
的 相似 之 处 ， 触 类 旁 通 地 解决 类 似 的 问题 或 者 运用 相应 的 实践 进行 质量 提升 。 

















勘误 和 支持 











由 于 笔者 的 水 平 有 限 ,编写 时 间 仓 促 ， 书 中 难免 会 出 现 一 些 错误 或 者 不 准确 的 地 方 ， 尺 请 读者 批评 指正 。 如 果 你 有 更 多 的 宝贵 意见 ， 欢 迎 通过 邮箱 
bug_big bang _in_web _testing@outlook.com 联 系 我 们 ， 期 待 能 够 得 到 你 的 真 执 反馈 ， 在 技术 之 路 上 互 勉 共 进 。 
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第 1 章 ”功能 测试 : 技术 篇 














提 到 测试 ， 大 家 首先 会 想到 的 就 是 功能 性 的 测试 ， 因 为 只 有 保证 了 产品 的 基本 功能 和 流程 ， 产 品 才 具备 给 用 户 提供 使 用 价值 的 能 力 ， 从 而 才 有 可 能 确定 产品 的 核心 竞争 力 。 基 于 这 一 点 ， 
不 仅 测试 人 员 和 开发 人 员 ， 还 有 产品 经 理 、 项 目 经 理 、 业 务 方 对 功能 完备 性 和 正确 性 的 重视 程度 也 往往 都 是 最 高 的 。 这 也 使 得 功能 测试 成 为 任何 测试 类 型 的 基础 。 





























在 进行 功能 测试 时 ， 我 们 会 使 用 诸如 边界 值 分 析 、 等 价 类 划分 、 因 果 分 析 、 组 合 测试 (Pairwise Testing) 等 测试 方法 来 设计 和 规划 测试 用 例 ， 但 是 这 些 方法 大 多 都 是 从 书本 上 学 来 或 者 
从 别 的 渠道 了 解 到 的 理论 方法 。 而 实际 上 在 一 个 真实 的 项 目 中 如 何 运用 ， 或 者 如 何在 特定 的 场景 和 情境 下 使 用 这 些 方法 ， 去 充分 发 挥 这 些 测试 方法 的 作用 ， 并 帮助 我 们 高 效 地 设计 和 执行 测试 
用 例 却 是 更 重要 的 问题 。 






































正 因 如 此 ， 我 们 在 功能 测试 部 分 并 没有 介绍 这 些 方法 是 什么 ， 而 重点 在 于 展示 在 一 个 具体 的 场景 下 ， 读 者 应 该 如 何 思考 ， 怎 么 把 理论 知识 和 实际 工作 结合 起 来 ， 以 发 现 和 避免 可 能 遇 到 的 








功能 测试 部 分 的 故事 篇 幅 都 会 比较 长 ， 希 望 读 者 能 够 每 读 完 一 个 故事 ， 都 留 出 一 段 时 间 进 行 思索 和 








回 


味 ， 从 而 理解 故事 的 核心 ， 触 类 旁 通 。 











为 了 让 每 一 章 的 故事 更 凝练 ， 我 们 把 功能 测试 部 分 分 成 了 4 章 ， 分 别 是 : 技术 篇 、 测 试 覆 盖 篇 、 测 试 实践 篇 和 业务 需求 篇 。 这 4 章 从 Web 开 发 流行 的 各 种 技术 (例如 响应 式 设 计 、 特 性 开 
关 、 虚 拟 化 等 ) 、 测 试 技术 〈 例 如 实例 化 需求 、 集 成 测试 、 契 约 测试 等 ) 、 测 试 实践 (例如 探索 性 测试 、 回 顾 会 议 、 缺 陷 大 扫除 等 ) 和 业务 需求 (例如 用 户 的 并 发 操作 、 关 联 操作 以 及 产品 功 
能 的 一 致 性 等 ) 方面 向 读者 全 方位 展示 功能 测试 范畴 中 的 常见 问题 和 解决 办 法 ， 更 重要 的 是 指引 大 家 从 一 步 一 步 的 分 析 中 得 到 解决 问题 的 思路 。 

































































本 章 (技术 篇 ) 介绍 了 在 开发 和 测试 的 技术 方面 引起 的 11 个 功能 测试 问题 ， 现 在 大 家 和 我 们 一 起 来 看 看 这 些 丰 富 多 彩 的 故事 。 














1.1 





面 快 : 














输入 框 中 输入 超过 最 大 允许 值 造 成 页 面 跳 转 溢出 











作为 计算 机 系 毕 业 生 的 小 蔡 ， 一 直觉 得 学 校 里 学 的 理论 知识 和 现在 的 测试 工作 差距 太 大， 在 实际 的 工作 中 也 没有 什么 作用 ， 直 到 有 一 天 她 碰 到 这 么 一 个 有 趣 的 问题 。 






































小 莹 负责 测试 的 是 一 个 Web 产 品 ， 基 于 不 同 的 搜索 条 件 会 显示 大 量 的 结果 。 由 于 搜索 结果 太 多 ， 所 以 页 面 有 分 页 功能 ， 为 了 方便 用 户 快捷 跳 转 到 特定 的 页 面 ， 开 发 人 员 特 意 设 计 了 一 个 页 





























速 跳 转 的 功能 ( 见 图 1-1) 。 





共 35 册 ， 到 第 1 





图 1-1 搜索 结果 页 面 快 速 跳 转 


在 设计 测试 用 例 的 时 候 小 莹 就 留心 了 ， 因 为 很 多 测试 理论 的 书籍 都 描述 过 ， 对 于 输入 框 可 以 进行 的 验证 点 很 多 ， 比 如 : 特殊 字符 、 超 长 字符 、 负 值 、0 信 和 null 值 ， 以 及 很 大 的 数值 等 。 


小 葡 发 现 ， 对 于 大 部 分 的 测试 用 例 ， 开 发 人 员 都 处 理 得 很 好 ， 没 有 发 现 缺陷 ， 她 也 就 松 了 口气 。 


FF 





1。 当 小 殖 收 集 到 这 些 线索 之 后 和 开发 人 员 一 沟通 ， 才 发 现 由 于 开发 人 员 设想 页 画 


”按钮 时 ， 突 然 页 面 崩 溃 了 ! 她 仔细 回想 刚才 的 测试 过 程 : 100 以 内 的 小 数值 ， 以 及 输入 小 于 等 于 搜索 结果 页 面 数 的 数值 等 情况 ， 测 试 结 果 都 很 正常 。 那 到 底数 值 大 到 什么 程度 的 时 候 页 f 
崩溃 呢 ? 一 时 想不到 更 好 的 办 法 ， 小 莹 只 好 硬 着 头皮 尝试 着 定位 出 错 的 数值 范围 。 




















但 是 ， 当 她 测试 到 输入 大 数值 的 测试 用 例 时 ， 由 于 不 确定 多 大 的 数值 会 出 错 ， 也 不 能 拿 到 代码 ， 小 蔡 就 探索 性 地 选 了 一 个 数值 : 9999999999 (10 个 “9”) 。 当 输入 10 个 “9” 点 击 
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她 发 现 ， 当 输入 10 个 “9” 就 会 出 错 ， 而 输入 9 个 “9”， 页 面 正常 跳 转 到 最 后 一 页 。 突 然 ， 小 蔡 想 起 来 数据 结构 课程 不 是 学 过 很 多 查找 法 嘛 ! 这 样 ， 二 分 法 就 这 么 出 现在 了 眼前 ， 对 ， 二 
分 查找 法 ( 见 图 1-2) ! 5000000000 (9 个 “0”) ， 出错; 2500000000 (8 个 “0”) ， 正 常 。 她 还 是 没有 线索 ， 可 是 她 坚持 这 么 一 点 一 点 查找 。 最 后 花 了 将 近 3 个 小 时 ， 小 蔡 终 于 定位 到 了 

























































































超过 











这 个 范围 的 数值 进行 任何 的 处 理 ， 这 就 造成 了 程序 判断 中 请 求 更 大 数值 页 面 时 的 溢出 ， 从 而 导致 了 产品 页 面 的 崩溃 。 
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图 1-2 ”二 分 查找 的 原理 


全 二 示 二 分 查找 算法 (binary search) 或 者 折 半 查找 算法 ， 是 一 种 在 有 序数 组 中 查找 某 一 特定 元 素 的 搜索 算法 。 


H 错 的 数值 : 4294967295。 这 个 时 候 ， 小 蔡 很 纳闷 ， 怎 么 是 这 么 一 个 奇怪 的 数值 呢 ? 有 零 有 整 的 。 计 算 机 专业 的 背景 给 了 小 蔡 一 个 提示 ， 不 会 是 2 的 多 少 次 割 吧 ? 果真 ，4294967295 是 232- 
最 大 不 会 超过 232， 所 以 对 这 个 字段 可 以 输入 的 最 大 数值 的 类 型 ， 选 择 的 是 int32。 但 是 ， 开 发 人 员 并 没有 对 


搜索 过 程 从 数组 的 中 间 元 素 开始 ， 如 果 中 间 元 素 正好 是 要 查找 的 元 素 ， 则 搜索 过 程 结束 ; 如 果 某 一 特定 元 素 大 于 或 者 小 于 中 间 元 素 ， 则 在 数组 大 于 或 小 于 中 间 元 素 的 那 一 半 中 查找 ， 而 且 


跟 开 始 一 样 从 中 间 元 素 开始 比较 。 如 果 在 某 一 步骤 数组 为 空 ， 则 代表 找 不 到 。 这 种 搜索 算法 每 一 次 比较 都 使 搜索 范围 缩小 一 半 。 


发 现 了 这 个 隐藏 的 缺陷 ， 小 蔡 很 有 成 就 感 ， 但 又 觉得 如 果 能 早点 知道 代码 的 逻辑 ， 可 能 自己 就 不 会 花 这 么 长 的 时 间 了 。 同 时 ， 小 蔡 一 直觉 得 计算 机 的 理论 知识 不 会 应 用 到 测试 实践 中 ， 可 








没 想到 这 次 多 亏 了 学 校 中 学 到 的 这 些 基础 知识 ， 不 只 是 int32，232， 甚 至 还 有 二 分 查找 算法 也 给 了 自己 解决 问题 的 灵感 。 没 有 这 些 知识 ， 定 位 问题 就 更 困难 了 。 








B&R 边界 值 分 析 法 
边界 值 分 析 法 是 一 种 常见 的 黑 盒 测试 方法 。 
测试 界 的 前 辈 们 通过 分 析 常见 Bug， 发 现 绝 大 多 数 的 Bug 都 出 现在 输入 /输出 范围 的 边界 处 。 因 此 ， 如 果 能 够 针对 这 些 边 界 来 设计 用 例 ， 通 常 能 够 更 加 有 效 。 
边界 值 测试 法 通常 是 作为 等 价 类 测试 法 的 补充 ， 和 等 价 类 测试 法 结合 起 来 用 。 即 每 个 等 价 类 的 边界 部 分 就 可 以 作为 边界 值 的 测试 用 例 之 一 。 
举 个 例子 。 假 设 有 一 个 日 期 选择 器 (date picker) 的 需求 ， 要 求 我 们 能 够 输入 时 间 后 ， 点 击 搜索 查询 输入 日 期 前 后 一 年 范围 内 的 数据 。 假 设 我 们 把 输入 的 时 间 分 为 如 下 几 个 等 价 类 : 
1) 正常 时 间 范 围 内 : now -1 年 <test data<now+1 年 ; 
2) 正常 时 间 范围 外 : test data<now -1 年 或 者 test data>now+1 年 


3) 特殊 时 间 : 例如 now=2 月 29，1970/01/01 等 








4) 输入 非 时 间 的 input value: 比如 输入 值 为 @ 等 
结合 分 类 1、2， 这 个 时 候 边 界 值 的 取 值 则 可 以 取 : 
"test data=now-1 年 ; 
“ test data=now 二 1 年 ; 
“ test data=now-1 年 -1 天 ; 
"test data=now-1 年 +1 天 
考虑 到 输出 范围 是 一 整 年 的 数据 ， 结 合 特殊 时 间 和 时 间 的 边界 ( 跨 年 、 跨 月 等 ) ， 还 可 以 增加 
* test data=2 月 29 
* test data=12 月 31 号 


' test data=1 月 1 号 


总 之 ， 边 界 值 的 取 值 ， 应 该 着 重 考虑 边界 情况 。 如 果 测试 对 象 是 时 间 ， 则 应 该 重点 考虑 路 年、 跨 月 等 ; 如 果 测 试 对 象 是 纯 数 字 ， 则 应 该 重点 考虑 数字 的 类 型 与 取 值 范围 ; 如 果 测 斌 对象 是 
数据 表 ， 则 应 该 重点 考虑 数据 表 设计 的 字段 长 度 ， 等 等 。 


全 展 #iR。 “测试 用 例 设计 





测试 用 例 记录 了 测试 的 过 程 ， 我 们 可 以 通过 测试 用 例 了 解 哪些 场景 已 经 被 验证 了 ， 哪 些 场景 还 没有 被 验证 。 除 此 之 外 ， 在 传统 的 测试 行业 中 ， 测 试用 例 数量 通常 也 被 作为 度量 测试 工作 量 
和 指定 测试 工作 计划 的 重要 输入 。 


测试 用 例 通常 会 包含 几 个 基本 要 素 : 用 例 编号 、 输 入 数据 、 期 望 结果 以 及 前 置 条 件 等 。 测 试 覆盖 率 则 是 评价 测试 用 例 好 坏 的 关键 标准 。 履 盖 率 高 的 测试 用 例 能 够 提高 开发 、 产 品 以 及 其 他 


验收 入 员 对 产品 的 信心 。 在 设计 过 程 中 ， 我 们 通常 会 通过 边界 值 、 等 价 类 等 测试 方法 ， 结 合 配对 组 合 测试 (pairwise testing) ， 基 本 路 径 分 析 法 等 测试 策略 优化 测试 用 例 ， 以 达到 提升 测试 覆盖 


率 和 减少 元 余 测 试用 例 的 方法 。 
以 下 是 测试 用 例 设 计 原 则 。 
1) 测试 用 例 的 代表 性 : 能 够 代表 并 履 盖 各 种 合理 的 和 不 合理 的 、 合 法 的 和 非法 的 、 边 界 的 和 越界 的 以 及 极限 的 输入 数据 、 操 作 和 环境 设置 等 。 
2) 测试 结果 的 可 判定 性 : 即 测试 执行 结果 的 正确 性 是 可 判定 的 ， 每 一 个 测试 用 例 都 应 有 相应 的 期 望 结果 。 


3) 测试 结果 的 可 再 现 性 : 即 对 同样 的 测试 用 例 ， 系 统 的 执行 结果 应 当 是 相同 的 。 





1.2 ”索引 值 计算 错误 使 资源 缩 略 图 显示 和 大 图 展现 不 一 致 





区 








业务 方 希望 在 商品 展示 的 页 面 ， 不 仅 能 添加 展示 图 片 ， 还 可 以 展示 关于 商品 的 视频 ( 见 图 1-3) 。 





十 Reeet zoom 


四 了 由 由 由 四 古本 曾 


图 1-3 商品 展示 页 面 支持 展示 图 片 和 视频 








业务 方 希望 通过 图 1-3 下 方 的 统一 翻 页 操作 ， 实 现 无 颖 浏览 图 片 和 视频 。 如 果 商 品 既 有 图 片 又 有 视频 ， 当 用 户 在 浏览 图 片 时 ， 在 图 1-3 右 下 角 显 示 “Video” (视频 ) ， 这 时 用 户 可 以 通过 
点 击 “Video” 链 接 打 开 第 一 个 视频 ;同样 当 用 户 在 浏览 视频 时 ， 在 图 1-3 右 下 角 显示 “Image” (图 片 ) ， 这 时 用 户 可 以 通过 点 击 “Image” 链 接 打开 第 一 张 图 片 。 



































小 蔡 按 照 通常 的 步骤 编写 完 测试 用 例 ， 开 始 使 用 标准 测试 数据 执行 测试 。 小 蔡 首 先 发 现 点 击 右 下 角 链 接 时 ， 本 应 该 显示 第 1 张 图 片 或 者 视频 ， 但 是 打开 的 却 是 第 2 张 图 片 或 者 视频 。 





小 蔡 觉 得 这 可 能 是 开发 人 员 在 处 理 图片 和 视频 展示 的 数组 时 ， 使 用 的 是 自然 数 计数 ， 从 1 开始 作为 第 1 个 数据 项 ， 而 非 计 算 机 程序 数组 中 通常 使 用 的 把 从 0 开始 计数 作为 第 一 个 数据 项 。 当 
小 莹 把 这 一 问题 上 报 之 后 ， 开 发 人 员 发 现 确实 是 这 个 原因 ， 并 进行 了 快速 修正 。 











小 莹 在 开发 人 员 新 发 布 的 包 上 又 一 次 进行 了 测试 ， 这 次 测试 用 例 基本 没有 什么 问题 ， 她 就 开始 在 类 真实 环境 中 执行 探索 性 测试 ， 结 果 发 现在 某 些 商品 页 面 进行 图 片 和 视频 跳 转 时 ， 出 现 图 
片 或 视频 显示 错误 或 者 显示 成 空白 的 问题 。 











在 老 牛 的 协助 下 ， 小 蔡 发 现 了 问题 出 现 的 两 个 规律 : @ 当 从 第 n 张 图 片 切换 到 视频 的 时 候 ， 系 统 显示 的 并 不 是 用 户 期 待 的 第 1 个 视频 ， 而 是 第 n 个 视频 ; @ 当 商品 的 图 片 和 视频 数量 不 一 
致 ， 从 数量 多 的 资源 切换 到 另 一 个 数量 少 的 资源 时 ， 内 容 就 会 出 现 空白 。 
































小 蔡 和 老 牛 都 觉得 出 现 问题 的 原因 比较 明确 了 ， 是 因为 在 图 片 和 视频 跳 转 时 ， 打 开 资 源 的 索引 值 并 没有 清 零 ， 而 是 保存 着 前 一 个 元 素 的 索引 值 。 











为 什么 这 个 问题 在 测试 环境 中 没有 发 现 ， 而 在 类 真实 环境 中 才 被 发 现 ” 原 来 最 初 小 蔡 在 测试 环境 中 执行 测试 用 例 的 时 候 ， 使 用 的 是 基本 测试 数据 ， 图 片 和 视频 都 只 有 两 个 ， 而 且 两 张 图 片 
和 两 个 视频 的 内 容 分 别 都 是 一 样 的 ， 因 此 不 会 出 现 这 个 问题 。 





小 蔡 和 老 牛 商量 了 下 ， 决 定 为 了 避免 遗漏 这 样 的 问题 ， 需 要 丰富 测试 环境 的 测试 数据 ， 使 得 测试 数据 更 信 数据 ， 这 样 测试 结果 才 更 为 准确 。 





同时 他 们 认为 这 个 问题 在 开发 人 员 的 开发 过 程 中 也 是 不 应 该 引入 的 ， 因 为 这 样 的 错误 比较 初级 。 于 是 小 蔡 和 开 发 人 员 进行 了 沟通 ， 发 现 引入 该 问题 的 根源 在 于 开发 人 员 的 琉 忽 。 由 于 图 片 
的 文件 格式 和 视频 的 文件 格式 不 同 ， 所 以 开发 人 员 使 用 了 两 个 库 来 支持 图 片 和 视频 的 打开 ， 但 是 两 个 库 之 间 的 跳 转 需要 通过 在 两 个 库 之 间 传 递 参数 来 实现 ， 然 而 开发 人 员 并 没有 仔细 检查 两 个 
库 之 间 所 传递 的 参数 ， 导 致 并 不 需要 被 传递 的 索引 值 也 传递 到 另 一 个 库 中 。 





老 牛 带 着 小 蔡 和 开 发 人 员 立 下 一 个 约定 : 在 使 用 第 三 方 让 





功能 时 ， 


@&wxhR@ 探索 性 测试 





探索 性 测试 (Exploratory Testing) 是 软件 测试 方法 的 一 种 。 这 种 方法 强调 测试 者 的 主观 能 动 性 ， 以 及 测试 设计 和 测试 执行 的 同时 性 。 目 的 是 探索 开发 更 多 不 同形 态 的 测试 方法 ， 以 便 改善 


测试 流程 。 


“ 先 设 计 ， 再 测试 ”的 传统 做 法 ， 通 常 是 先 分 析出 测试 点 ， 然 后 针对 测 点 设计 好 测试 方法 ， 最 后 执行 测试 。 这 种 模式 也 带 来 了 一 些 问 题 ， 比 如 在 测试 目标 不 确定 的 情况 下 (〈 改 需求 、 输 出 
范围 过 大 等 ) 经 常 可 能 出 现 测试 遗漏 等 ， 而 且 在 一 定 程度 上 也 限制 了 测试 思维 的 发 散 。 而 探索 性 测试 的 出 现 ， 正 好 弥补 了 传统 测试 中 出 现 的 这 种 问题 。 


探索 式 软件 测试 一 共 分 为 自由 式 探索 式 测试 、 基 于 场景 的 探索 式 测试 、 基 于 策略 的 探索 式 测试 和 基于 反馈 的 探索 式 测试 。 
1) 自由 式 探索 
纯粹 从 使 用 的 角度 出 发 ， 抛 开 规则 、 模 式 ， 测 试 人 员 可 以 以 任意 顺序 和 方式 对 软件 进行 使 用 测试 。 这 种 测试 通常 会 被 选 作 快 速 冒 烟 测 试用 例 。 
(2) 基于 场景 的 探索 式 测试 
这 种 测试 跟 传 统 基于 场景 的 测试 比较 像 ， 不 同 的 是 ， 在 这 种 测试 中 测试 人 员 会 扩大 测试 范围 。 例 如 ， 对 某 搜 索 框 的 测试 ， 传 统 的 场景 测试 用 例 可 能 是 : 
1) 输入 “电视 ”， 期 望 结 果 是 搜索 到 电视 
2) 输入 “123”， 搜 索 到 123 相 关 的 内 容 。 
而 基于 场景 的 探索 性 测试 下 ， 测 试 场景 则 可 能 是 : 
1) 输入 “电视 ”， 探 索 搜索 结果 
2) 粘贴 “1@3”， 搜 索 结果 
3) 输入 一 个 乱码 ， 搜 索 结 果 
4) 输入 电视 ， 搜 索 结 果 后 回 退 到 搜索 首页 再 搜索 ，; 
(3) 基于 策略 的 探索 性 测试 


这 是 一 种 比较 依靠 经 验 的 测试 方式 。 简 单 讲 就 是 测试 老手 ， 融 合 自 己 的 经 验 、 技 能 、 感 知 等 条 件 ， 结 合 自 由 式 探索 性 测试 ， 用 自己 积累 下 来 的 知识 来 指导 测试 。 是 一 种 经 验 结合 随机 性 的 
测试 。 


(4) 基于 反馈 的 探索 性 测试 
馈 指 的 是 当 测 试 人 员 对 被 测 程序 做 出 指令 后 得 到 的 响应 结果 。 基 于 这 个 结果 ， 测 试 人 员 可 以 调整 自己 的 输入 ， 以 期 望 得 到 不 同 的 结果 。 例 如 ， 在 基于 场景 的 探索 性 测试 的 描述 中 ， 输 入 
电视 和 输入 电 冰 箱 会 得 到 不 同 的 结果 ， 而 其 中 电视 的 搜索 结果 就 是 对 电视 这 个 输入 的 反馈 ， 电 冰箱 的 结果 就 是 对 电 冰 箱 这 个 输入 的 反馈 。 
@ 议 xiR@ 软件 开发 中 的 各 种 环境 
1) 开发 环境 : 就 是 每 个 开发 人 员 进 行 编 程 的 电脑 ， 包 括 软 硬件 及 其 配置 ， 为 了 开发 调试 方便 ， 一 般 打 开 全 部 错误 报告 。 
2) 测试 环境 : 测试 人 员 进 行 产品 部 署 ， 并 进行 功能 等 测试 的 环境 。 


3) 预 生 产 环境 〈 非 必须 ) : 与 生产 环境 不 定期 同步 ， 保 持 和 生产 环境 的 设置 、 数 据 的 一 致 性 ， 也 是 用 于 测试 的 环境 。 与 测试 环境 的 最 大 区 别 就 是 它 和 生产 系统 同步 性 最 高 ， 有 些 比如 数 
据 迁 移 测试 ， 用 这 个 环境 测试 比 测试 环境 〈 一 般 情 况 下 数据 较 少 ) 更 准确 。 


4) 生产 环境 : 正式 使 用 的 系统 环境 ， 一 般 会 关 掉 错误 报告 ， 打 开 错 误 日 志 。 


通常 情况 下 ， 一 个 环境 对 应 一 个 服务 器 ， 不 同 环境 代表 着 系统 开发 的 不 同 阶段 : 开发 一 测试 一 部 署 一 上 线 。 


1.3 ”测试 Web Service 能 否 正常 提供 JSON 数 据 


某 一 天 ， 小 蔡 所 在 的 项 目 组 刚 开发 完成 一 个 Web Service， 服 务 的 功能 是 ， 通 过 在 客户 端 调用 时 指定 的 一 个 ID， 可 以 从 后 台数 据 库 中 读 取 对 应 的 房产 信息 ， 还 有 与 这 个 房产 关联 的 一 到 多 
个 房东 信息 、 一 到 多 个 图 片 信息 ， 以 及 地 址 信息 等 。Web Service 最 终 把 这 些 信息 组 合成 JSON 格 式 的 数据 返回 给 调用 方 ， 调 用 方 可 以 通过 界面 来 展示 相关 信息 ， 也 可 以 通过 其 他 方式 去 使 用 
这 些 信息 。 但 是 ， 调 用 方 具体 如 何 使 用 这 些 信息 与 Web Service 服 务 本 身 的 测试 关系 不 大 ， 所 以 暂且 不 表 了 。 小 蔡 需 要 做 的 是 验证 这 个 Web Service 服 务 能 否 正常 地 提供 JSON 数 据 。 
































1. 寻 找 测试 关键 点 














和 开发 人 员 讨论 后 ， 小 莹 了 解 到 ， 给 Web Service 服 务 发 送 ID 后 ， 后 台 系 统 会 根据 这 个 1D 去 查询 数据 库 ， 数 据 库 对 应 的 对 象 模型 如 图 1-4 所 示 。 

















在 这 个 对 象 关系 图 里 可 以 看 到 ，Building 对 象 是 图 的 核心 ， 其 他 对 象 分 别 和 Building 对 象 是 一 对 一 或 者 一 对 多 的 关系 。 那 么 小 蔡 觉 得 ， 测 试 的 关键 点 就 是 这 些 数 据 之 间 的 关系 能 否 正 确 反 
映 在 生成 的 JSON 数 据 里 。 (特别 是 要 确保 生成 的 JSON 数 据 的 格式 没有 被 破坏 ， 否 则 解析 器 就 无 法 解析 JSON 数 据 了 。 ) 








2. 疏 楼 梯 开始 了 


在 确定 好 测试 点 之 后 ， 小 蔡 测 试 思 路 如 下 。 





1) 依据 边界 值 进行 测试 。 由 于 数据 库 的 数据 存在 多 种 情况 : 0 条 记录 、 单 条 记录 、 多 条 记录 ， 需 要 验证 根据 这 些 数据 条 数 生 成 的 JSON 文 件 是 否 正 确 。 
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1 MediaLxnak 0...* 


- heading: String 
- Count: Int 


MediaLink 


- title: String 





- link: String 
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图 1-4 生成 JSON 的 对 象 模型 


2) 需要 关注 对 象 之 间 的 关联 关系 限制 。 例 如 一 个 Building 对 应 0 到 4 个 Callout， 那 么 需要 测试 当 多 于 4 个 Callout 时 ， 生 成 的 JSON 的 情况 。 





3) Web Service 人 允许 用 户 输入 参数 ， 所 以 需要 验证 输入 特殊 数据 后 ， 系 统 是 否 出 现 异 常 或 者 骨 溃 的 现象 ， 以 及 是 否 会 出 现 SQL 注 入 的 问题 。 











4) Web Service 有 可 能 会 被 多 个 客户 端 并 发 调用 ， 因 此 需要 验证 其 性 能 是 否 符合 设计 要 求 。 

















根据 测试 思路 ， 小 蔡 设 计 了 如 下 测试 用 例 。 














1) Building 对 象 可 以 有 多 个 Space， 所 以 可 以 选取 0 个 、1 个 、6 个 Space 去 看 生成 的 JSON 是 否 正确 ， 这 个 可 以 通过 修改 数据 库 数据 的 方式 生成 假 数据 去 完成 相关 测试 。 另 外 ， 如 图 1-4 所 
示 ， 小 莹 还 需要 测试 Building 和 其 他 对 象 的 关系 ， 包 括 Customer、MediaLink 等 。 小 蔡 还 特别 注意 了 边界 值 测试 ， 比 如 ， 一 个 Building 对 应 0~ 4 个 Callout， 那 么 可 以 用 0、1、4、5 个 
Callout 去 测试 。 当 有 5 个 Callout 的 时 候 ， 要 去 查看 返回 的 JSON 数 据 是 返回 了 前 4 个 Callout， 还 是 返回 了 前 5 个 ， 又 或 者 抛 出 了 异常 ， 当 然 ， 具 体 哪 种 结果 是 程序 设计 所 期 望 的 ， 需 要 和 开发 
人 员 去 沟通 。 









































2) 调用 Web service 时 需要 指定 ID， 所 以 可 以 测试 在 ID 存在 和 不 存在 两 种 情况 下 JSON 结 果 是 否 返 回 正常 。 











3) 异常 处 理 ,调用 Web Service 时 可 以 把 ID 换 成 错误 的 参数 ， 例 如 null、 非 常 长 的 字符 串 、 空 字符 串 、 英 文字 符 、 其 他 文字 (例如 中 文字 符 ) 等 。 接 着 小 蔡 就 去 验证 服务 对 异常 是 否 做 出 
了 正确 的 处 理 。 











4) 安全 测试 ， 这 个 Web Service 会 被 外 网 使 用 ， 那 就 需要 在 安全 性 上 投入 更 多 的 测试 。 例 如 ， 如 果 URL 可 以 输入 任何 参数 ， 这 些 参数 是 否 包含 危险 数据 导致 SQL 注入 这 类 安全 问题 。 还 
有 ， 因 为 Web service 被 外 网 使 用 ， 那 在 调用 这 个 服务 时 是 否 需要 提供 用 户 名 和 密码 。 

















JSON 使 用 了 一 种 特殊 描述 数据 的 方式 ， 用 “，”、“[”、“]”、“{”、 人 等 分 割 数 据 ， 小 蔡 需 要 测试 ， 如 果 数 据 库存 储 的 数据 恰好 有 这 些 符 号 ， 这 些 数据 被 读 取 并 生成 为 JSJON 后 
是 否 会 破坏 JSON 的 格式 。 














5) 性 能 测试 ， 如 何 对 Web Service 进 行 性 能 测试 呢 ， 快 速 测 试 方式 就 是 通过 一 些 工 具 的 多 线程 调用 ， 或 者 手工 编写 简单 多 线程 代码 去 调用 ， 然 后 查看 持续 调用 两 小 时 之 后 服务 是 否 
常 ， 服 务 后 台 内 存 曲线 是 否 出 现 异常 ， 有 没有 出 现 内 存 泄露 等 问题 。 另 外 ， 查 看 Web service 是否 能 在 符合 性 能 期 望 的 时 间 内 返回 数据 。 
































还 有 一 个 边缘 的 性 能 测试 路 径 是 : 一 个 对 象 有 成 干 上 万 个 关联 子 对 象 ， 能 否 正 常生 成 对 应 的 JSON 文 件 ， 以 及 性 能 是 否 能 达到 期 望 目 标 。 庆 幸 小 蔡 这 次 测试 任务 不 需要 这 么 做 ， 因 为 后 台 
数据 明确 了 不 可 能 存在 这 种 情况 ， 但 是 在 别 的 测试 任务 中 可 能 需要 测试 。 








未 假设 一 种 大 数据 量 的 场景 ， 如 果 关 联 的 对 象 有 10 万 个 ， 我 们 可 以 通过 工具 在 数据 库 中 生成 10 万 条 数据 。 这 时 候 ， 生 成 的 JSON 文 件 可 能 会 有 几 十 光 ， 那 么 我 们 要 看 需求 文档 ， 对 
这 种 场景 期 待 的 性 能 指标 是 多 少 ,例如 单个 用 户 调用 的 话 5 分 钟 之 内 需要 生成 完毕 ，20 个 用 户 并 发 情况 下 10 分 钟 生成 完毕 。 我 们 需要 验证 是 否 5 分 钟 或 者 10 分 钟 内 能 生成 完毕 ， 同 时 还 要 验证 ， 
在 这 个 过 程 中 ， 后 台 内 存 增长 曲线 是 否 出 现 过 于 陡峭 的 现象 。 


6) 查看 生成 的 JSON 数 据 中 ， 一 些 特殊 类 型 的 数据 是 否 和 数据 库 完全 一 致 。 例 如 ， 对 于 float 类 型 ， 有 个 Bug 是 该 类 型 数据 精度 在 数据 库 中 是 保存 到 小 数 点 后 8 位 ， 但 生成 的 JSON 中 只 保 
留 小 数 点 后 2 位 ; 类 似 的 特殊 数据 还 包括 非常 长 的 字符 串 ， 需 要 查看 是 否 被 截断 ; 如 果 在 数据 库 中 保存 的 是 0， 在 JSON 中 是 否 会 生成 0.00， 此 外 还 可 以 查看 空 字符 串 是 否 正确 生成 在 JSON 中 。 




















7) 确定 服务 是 否 需要 支持 HTTPS 加 密 ， 如 果 需 要 ， 就 要 去 测试 返回 结果 是 否 正常 。 











哈哈 ! 终于 有 息 完 楼 梯 了 ， 小 蔡 可 以 松口 气 了 ， 走 ! 喝 杯 啤 酒 ， 再 来 块 炸 鸡 么 ? 











1.4 利用 Javascript 加 载 的 漏洞 提前 购买 抢购 商品 


自从 小 米 手机 推出 以 来 ， 抢 购 风潮 在 各 类 网 站 上 盛行 起 来 ， 小 蔡 测 试 的 网 站 自然 也 不 能 免 俗 ， 项 目 组 开发 的 网 站 也 包含 了 抢购 功能 。 
对 于 抢购 来 说 ， 只 有 到 了 特定 的 时 间 后 ， 商 品 才 会 开放 并 允许 抢购 ， 并 且 抢 购 网 页 的 代码 里 使 用 的 时 间 会 定期 和 服务 器 进行 同步 。 


小 莹 设计 了 丰富 和 全 面 的 测试 用 例 ， 在 执行 基础 测试 用 例 过 程 中 没有 发 现 抢购 功能 的 Bug， 不 过 在 进行 多 地 区 和 多 语言 的 性 能 测试 时 ， 她 发 现 了 一 个 功能 上 的 漏洞 ， 发 现 漏洞 的 过 程 是 这 
样 的 。 


在 执行 性 能 测试 时 ， 需 要 选取 不 同 国家 和 地 区 的 服务 器 去 模拟 用 户 的 真实 访问 ， 以 验证 产品 性 能 是 否 能 满足 用 户 体验 的 要 求 。 显 然 ， 通 过 这 些 不 同 国家 和 地 区 的 服务 器 访问 网 站 ， 会 比 小 
获 在 公司 内 部 使 用 内 网 访问 速度 慢 ， 更 别提 有 些 国家 和 地 区 网 络 发 展 慢 ， 这 些 区 域 的 访问 速度 就 更 慢 了 。 








然而 正 是 通过 使 用 这 些 网 速 很 慢 的 服务 器 ， 小 蔡 发 现 了 这 个 功能 上 的 漏洞 。 


1) 在 高 速 或 者 说 正常 网 速 的 情况 下 ， 当 用 户 打开 抢购 商品 的 页 面 时 ， 页 面 JavaScript 会 很 快 加 载 并 执行 完成 ， 这 时 “加 入 购物 车 ”的 按钮 会 变 灰 ， 无 法 进行 操作 ( 见 图 1-5) 。 





LoadRunner 性 能 测试 巧 匠 训 练 营 
软件 性 能 测试 领域 具有 突破 性 创新 意义 的 重要 著作 三 位 软件 测试 专家 多 年 一 线 工 作 经 验 结晶 
业内 多 位 测试 专家 联 被 推荐 基于 LoadRunner、Apache ab 和 JMeter 等 性 能 测试 工具 


EE \ 赵强 ， 邹 伟 伟 ， 任 健 勇 著 
上 
,0 


累计 评价 


RS 
人 LoadRunner 尘 55.20 [8 折 ] [定价 : 闻 69-99] (降价 通知 ) Eo 
”性 能 测试 

巧 匠 训 练 营 


排 ” 名: 自 营 计算 机 与 互联 网 销量 榜 第 386 位 
配 送 至 : | 陕西 西安 市 雁 塔 区 v | 无 货 ， 支 持 99 元 免 基础 运费 | 货 到 付款 


SS 发 货 ， 并 提供 售后 服务 。 


30 天 免 息 ¥ 18.68x3 期 ¥9.48x6 期 半 4.88x12 期 ¥2.58x24 期 | 合 旬 


如 加 入 购物 车 | 加 到 有 知 





图 1-5 ”正常 网 速 ， 等 JavaScript 加 载 完成 之 后 “加 入 购物 车 ”不 能 操作 
2) 而 当 网 速 很 慢 时 ， 由 于 网 页 中 JavaScript 是 顺序 加 载 执行 的 ， 所 以 “加 入 购物 车 ”按钮 先 会 显示 为 可 以 操作 的 状态 ， 等 JavaScript 加 载 完成 后 ， 才 会 变 灰 ， 不 可 操作 ( 见 图 1-6) 。 
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图 1-6， 慢 速 网 络 ， 在 JavaSctipt 加 载 完成 之 前 “加 入 购物 车 ”按钮 可 以 操作 


3) 所 以 在 慢 速 网 络 中 ， 当 页 面 Javascript 没 有 加 载 完成 时 ， 用 户 会 看 到 “加 入 购物 车 ”按钮 是 可 用 状态 ， 因 此 用 户 可 以 点 击 该 按钮 ， 并 把 抢购 商品 加 入 购物 车 ， 于 是 用 户 就 可 以 在 正式 抢 
购 开始 之 前 顺利 地 抢 到 该 商品 了 。 实 际 上 甚至 在 商品 无 货 的 情况 下 ， 用 户 也 可 以 在 JavaScript 没 有 加 载 完 时 点 击 “ 加 入 购物 车 ”按钮 ， 并 且 成 功 把 无 货 商 品 加 入 购物 车 ( 见 图 1-7 和 图 1-8) 。 


LoadRunner 性 能 测试 巧 匠 训练 营 | ¥Y55.20 入 除 
: 到 货 通 知 


移 到 我 的 关注 





图 1-7 慢 速 网 络 ， 无 货 的 商品 也 可 以 添加 到 购物 车 
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图 1-8 慢 速 网 络 ， 无 货 的 商品 也 可 以 支付 购买 





这 个 问题 是 由 JavaScript 没 有 加 载 完成 引起 的 ， 但 是 稍 懂 技 术 的 人 甚至 可 以 禁用 浏览 器 的 JavaScript， 或 者 通过 查看 网 络 访问 的 URL 后 ， 在 按钮 是 灰色 的 状态 下 也 有 可 能 提交 购买 请 求 。 所 
以 ， 修 改 这 个 Bug 时 ， 还 需要 在 提交 订单 时 做 二 次 验证 ， 去 验证 该 商品 是 否 有 货 ， 或 者 是 否 已 经 处 于 抢购 状态 ， 当 状态 为 “是 ”的 时 候 ， 才 允许 后 续 操 作 。 














当 小 葵 把 这 个 问题 提交 给 开发 人 员 和 产品 经 理 后 ， 经 过 大 家 的 讨论 ， 发 现 如 果 调 整 商 品 页 面 上 的 JavaScript 加 载 顺 序 ， 会 涉及 很 多 JavaScript 文 件 的 修改 ， 影 响 范围 会 很 广 ， 包 括 移动 页 
面 上 的 代码 也 需要 大 幅 修正 ， 因 此 整体 工作 量 比较 大 。 鉴 于 刚才 提 到 的 在 提交 订单 时 做 二 次 验证 也 能 避免 这 样 的 问题 ， 所 以 他 们 一 致 决定 采取 做 二 次 验证 这 种 方案 来 进行 修复 。 








jt 展 kmiR Javascript 的 加 载 与 执行 





浏览 器 的 泻 染 线程 和 JS 执行 线程 是 互 扩 的， 并且 JavaScript 默 认 是 阻塞 加 载 的 。 页 面 的 下 载 和 泻 娄 都 必须 停 下 来 等 待 脚本 执行 完成 。JavaSctipt 执 行 过程 耗 时 越久 ， 浏 览 器 等 待 响应 用 户 输入 
的 时 间 就 越 长 。 


(1) 加 载 


不 管 是 script 标 签 直接 引入 的 情况 ， 还 是 sfc 加 载 的 外 部 资源 ， 都 会 阻塞 页 面 的 泻 染 。 所 以 一 般 为 了 从 体验 上 考虑 ， 我 们 会 将 JS 文件 放置 在 pody 标 签 闭 合 之 前 。 不 过 新 版 的 IEE、Firefox、Safari 
和 Chrome 都 允许 并 行 下 载 JavaScript 文 件 。 但 是 只 是 JavaScript 文 件 可 以 并 行 下 载 ， 泻 染 还 是 被 阻塞 的 ， 页 面 仍然 必须 等 待 所 有 JavaScript 代 码 下 载 并 执行 完成 才能 继续 。 


(2) 执行 

每 当 JavaSctipt 文 件 加 载 完 成 后 ， 都 会 立刻 执行 该 文件 。 所 以 你 会 看 到 下 一 次 的 请 求 并 不 是 在 上 一 次 请 求 结束 之 后 立即 开始 ， 中 间 的 耗 时 就 是 上 一 个 脚本 文件 的 执行 时 间 。 
一 般 对 于 JavaSctipt 的 优化 建议 如 下 。 

1) 将 sctipt 脚 本 文件 放置 在 body 标 签 闭合 之 前 。 

2) 减少 script 请 求 数量 。 

3) 无 阻塞 脚本 ， 在 页 面 加 载 完 成 后 才 加 载 JavaSctipt 代 码 。 这 就 意味 着 在 window 对 象 的 onload 事 件 触发 后 再 下 载 脚本 。 

+ Defer, async。 

* 动态 添加 sctipt 元 素 。 


不 过 在 上 面 这 个 故事 中 ， 正 是 由 于 对 JavaScript 的 优化 引发 了 抢购 页 面 先 显示 元 素 可 操作 ， 然 后 在 JavaSctipt 加 载 完 成 后 ，JavaSctipt 执 行使 元 素 不 可 操作 。 


1.5 ”过 长 的 控件 名 称 造 成 其 他 元 素 显 示 错 位 





小 蔡 接 到 一 个 公司 内 部 在 线 表单 项 目的 测试 任务 ， 这 个 项 目 中 有 3 个 独立 的 角色 : 管理 员 A 负 责编 辑 和 布局 表单 控件 ， 用 户 B 负 责 填写 表单 中 控件 的 内 容 ， 而 审核 员 C 只 能 查看 B 操 作 后 的 结 








这 个 需求 看 上 去 不 难 ， 小 蔡 快 速 分 析 并 且 记 录 了 以 下 几 个 测试 点 ， 开 始 了 测试 工作 。 
1) A 可 以 正常 添加 不 同类 型 控件 (文本 框 、 富 文本 框 、 下 拉 列 表 、 多 选 框 、 单 选 框 等 ) 到 页 面 中 。 
2) B 可 以 正常 在 这 些 控 件 中 输入 数据 。 


3) C 可 以 正常 查看 B 所 有 的 操作 内 容 。 








4) 针对 各 个 角色 所 具有 的 不 同 的 操作 权限 进行 验证 。 
5) A 更 新 表单 后 ，B 要 可 以 看 到 对 应 的 变化 。 


6) A 未 完成 操作 或 者 未 保存 的 表单 ，B 是 无 法 看 到 和 使 用 的 。 





7) B 不 保存 后 者 提交 操作 结果 ，C 无 法 看 到 B 的 操作 内 容 。 


8) 跨 浏览 器 和 跨 平 台 测试 。 





在 测试 过 程 中 ， 小 葵 发 现 这 个 表单 做 的 类 似 于 我 们 熟知 的 Office 应 用 的 所 见 即 所 得 的 形式 ， 即 A 在 屏幕 左上 方 放置 一 个 多 选 框 并 保存 后 ，B 打 开 页 面 后 也 可 以 在 屏幕 左上 方 看 到 一 个 多 选 
框 , 最 后 C 登 录 后 也 可 以 在 屏幕 左上 方 看 到 这 个 多 选 框 。 这 使 得 整个 功能 变 得 更 加 容易 测试 ， 几 乎 是 帝 一 眼 就 能 看 到 有 没有 问题 。 



































三 下 五 除 二 就 跑 完 用 例 ， 小 华 正 准备 结束 测试 ， 偶 然 间 一 眼 警 到 表单 上 的 多 选 框 选项 上 ， 她 突然 意识 到 既然 多 选 框 和 单 选 框 中 的 选项 内 容 都 是 自己 定义 的 ， 那 在 选项 内 容 中 输入 超 长 字符 
串 时 ， 会 不 会 导致 该 控件 的 显示 位 置 发 生变 化 呢 ? 





带 着 这 个 疑问 ， 小 殖 重 新 使 用 A 角 色 设置 了 一 个 超 长 的 多 选 框 选项 名 称 ， 然 后 用 B 角 色 做 了 勾 选 操作 ， 最 后 再 用 C 去 查看 结果 。 结 果 她 发 现 了 问题 : 查看 到 的 结果 中 ， 勾 选 后 的 内 容 和 多 
选 框 显示 错位 了 。 














再 仔细 重 现 了 一 遍 问题 后 ， 小 蔡 发 现 A 在 编辑 模式 给 多 选 框 设 置 超 长 的 选项 名 称 的 时 人 息 ， 在 界面 上 多 选 框 的 位 置 被 挤 到 了 文本 中 央 ， 如 图 1-9 所 示 。 
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图 1-9 表单 编辑 界面 





B 在 操作 视图 中 看 到 的 这 个 多 选 框 又 被 强制 对 齐 到 了 文字 最 左 侧 ， 如 图 1-10 所 示 。 




















而 C 在 审核 视图 中 看 到 的 情况 却 是 A 和 C 的 结合 体 ， 即 多 选 框 被 重 置 到 了 文字 中 央 ， 而 被 匆 选 的 位 置 却 出 现在 文字 的 最 左 端 ( 见 图 1-11) 。 
































有 了 小 莹 的 过 程 重 现 ， 开 发 人 员 很 快 就 定位 到 出 现 问题 的 原因 : 首先 是 在 A 用 户 使 用 的 过 程 中 ( 见 图 1-9) ， 没 有 把 操作 结果 查看 视图 中 的 多 选 框 强制 左 对 齐 。 其 次 是 在 用 户 C 使 用 过 程 中 
( 见 图 1-11) ， 由 于 使 用 Query 定 制 化 多 选 框 中 的 代码 逻辑 错误 ， 导 致 勾 选 状态 下 的 可 勾 选 位 置 和 多 选 框 本 身 出 现 了 分 离 ， 最 终 导 致 问题 出 现 。 
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图 1-10 表单 操作 界面 
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图 1-11 操作 结果 查看 页 面 


多 核心 知 识 常见 的 HTML 元 素 及 常见 检查 点 
1) <select> 标 签 ， 可 创建 单 选 或 多 选 菜单 。 
常见 检查 点 : 下 拉 列 表 数据 的 正确 性 ; 数据 被 选中 是 否 正 确 ， 是 否 变 形 ， 是 否 只 读 ， 多 选 / 单 选 是 否 正确 。 
2) <label> 标 签 ， 相 当 于 一 个 展示 文本 框 。 
常见 检查 点 : 文本 是 否 正确 ; 文本 字体 、 大 小 、 颜 色 、 间 距 是 否 正 确 ; for 属 性 是 否 绑 定 了 正确 的 元 素 等 。 
3) <input> 标 签 ， 用 于 收集 用 户 信息 。 
根据 不 同 的 type 属 性 值 ， 输 入 字段 拥有 很 多 种 形式 。 可 以 是 文本 字段 、 复 选 框 、 掩 码 后 的 文本 控件 、 单 选 按 钮 、 按 钮 等 。 
4) button 可 点 击 的 按钮 ， 点 击 后 通常 会 触发 相应 事件 。 
常见 检查 点 : 点 击 按钮 后 触发 的 行为 和 期 望 不 符合 ; 页 面 卡 死 未 响应 ; 点 击 后 变形 等 。 
5) text 文 本 输入 。 
常见 检查 点 : 是 否 只 读 ; SQL 注入 攻击 ; 输入 内 容 超 过 文本 框 长 度 是 否 引起 形变 等 。 
6) checkbox 多 选 框 。 
常见 检查 点 : 选中 /取消 色 选 是 否 有 效 ; 文本 长 度 过 长 是 否 引起 形变 ; 页 面 刷 新 后 是 否 被 自动 取消 / 义 选 等 。 
7) radio 单 选 框 。 


常见 检查 点 : 单 选 是 否 有 效 ; 文本 长 度 过 长 是 否 引起 形变 ; 页 面 刷 新 后 是 否 被 自动 取消 / 勾 选 等 。 


8) image 图 片区 域 。 
常见 检查 点 : 图 片 加 载 是 否 正确 ; 图 片 加 载 失败 或 者 关闭 时 行为 是 否 符合 预期 ， 鼠标 指针 移动 到 图 片上 后 显示 的 文本 是 否 正确 ; 图 片 是 否 可 以 正确 点 击 / 拖 慢 等 。 
9) submit 提 交 按 钮 ， 提 交 当 前 <form> 表 单 信息 到 指定 页 面 。 


常见 检查 点 : 提交 信息 完整 性 等 。 


1.6 多 次 操作 本 该 禁用 的 页 面 组 件 造成 服务 器 出 错 


对 页 面 上 的 组 件 进 行 多 次 点 击 是 测试 人 员 经 常 使 用 的 小 技巧 之 一 ， 通 常 小 蔡 在 执行 完 基本 测试 用 例 之 后 ， 开 始 进行 探索 性 测试 时 会 使 用 这 个 技巧 ， 并 且 利用 这 个 测试 技巧 发 现 了 不 少 问 
题 。 


这 些 问题 主要 集中 在 用 户 提交 服务 器 请 求 后 服务 器 进行 处 理 的 相关 功能 上 ， 例 如 读 取 、 保 存 、 提 交 、 删 除 等 功能 ( 见 图 1-12) 。 





小 蔡 发 现 如 果 网 络 速 度 比较 慢 或 者 产品 本 身 性 能 不 够 好 ， 在 用 户 点 击 了 这 些 功能 按钮 后 ， 而 页 面 刷新 完成 之 前 这 段 时 间 内 ， 该 功能 按钮 仍然 可 能 被 用 户 继续 点 击 。 即 使 有 些 页 面 上 的 按钮 
处 于 灰色 不 可 用 状态 ， 但 当 你 尝试 点 击 这 些 灰 色 的 按钮 ， 会 发 现 点 击 后 仍然 会 给 服务 器 端 发 送 请 求 ( 见 图 1-13) 。 


LoadRunner 性 能 测试 巧 匠 训 练 营 要 了 
到 货 通知 


移 到 我 的 关注 





图 1-12 ”用户 通过 “删除 ”“ 保 存 ” 等 功能 和 服务 器 交互 
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自动 化 测试 


图 1-13 ”功能 按钮 在 被 置 灰 后 仍然 可 以 使 用 





这 样 带 来 了 一 系列 问题 ， 举 例 来 说 ， 对 于 保存 功能 ,用户 多 次 点 击 后 会 向 后 台 发 送 多 次 请 求 ， 数 据 库 中 也 会 产生 多 条 重复 的 数据 ， 这 样 不 仅 会 造成 数据 统计 错误 ， 更 会 给 再 次 使 用 这 些 数 
据 的 人 或 程序 造成 很 大 的 麻烦 。 一 个 更 极端 的 例子 是 免 密 码 支 付 的 场景 ， 当 用 户 不 小 心 多 次 点 击 支付 按钮 后 ， 会 给 用 户 造成 不 小 的 损失 ;对 于 删除 功能 来 说 ， 多 次 点 击 “ 删 除 ” 按 钮 后 ， 实 际 
上 第 一 个 请 求 已 经 让 数据 库 将 对 应 的 数据 删除 了 ， 接 下 来 的 删除 请 求 可 能 会 造成 后 台 程 序 的 大 量 异常 。 








小 蔡 发 现 解决 此 类 问题 也 很 简单 ， 只 需要 开发 人 员 在 编写 代码 时 注意 ， 只 允许 对 该 类 功能 按钮 操作 一 次 ， 在 用 户 操作 之 后 ， 不 仪 需要 把 对 应 的 功能 按钮 置 灰 ， 同 时 需要 取消 这 些 功 能 按钮 
上 面 绑 定 的 事件 响应 处 理 机 制 。 





通常 小 蔡 除 了 会 在 小 组 的 回顾 会 议 上 向 开发 人 员 分 析 这 些 问题 产生 的 原因 和 避免 方式 ， 还 在 每 张 开 发 故事 卡 上 明确 地 标注 需要 测试 多 次 快速 点 击 按钮 的 场景 ， 这 样 可 以 让 开发 人 员 从 意识 
上 提高 对 这 类 缺陷 的 警惕 ， 从 而 在 编写 代码 时 注意 预防 此 类 问题 的 发 生 。 


全 #6 展 #iR 加 鼎 会 议 


无 论 一 个 Scrum 团 队 有 多 出 色 ， 总 有 需要 改进 的 地 方 。 即 使 一 个 好 的 Scrum 团 队 会 不 断 寻 找 需要 改进 的 方面 ， 这 个 团队 也 应 该 做 一 个 简单 回顾 ， 目 的 是 在 每 个 迭代 的 最 后 来 回顾 团队 目前 做 
得 如 何以 及 找到 改进 的 方法 。 


回顾 会 议 (Sprint Retrospective) 通常 发 生 在 每 个 选 代 最 后 一 天 ， 用 来 帮助 团队 进行 自我 改进 。 会 议长 度 通常 为 1 个 小 时 ， 团 队 成 员 在 一 起 列 出 团队 应 该 做 的 事情 、 需 要 停止 做 的 事情 、 应 
该 保持 下 去 的 事情 。 接 着 团队 成 员 对 所 有 提议 进行 投票 ， 这 样 可 以 在 有 限 的 时 间 里 优先 讨论 大 家 最 关心 的 几 个 问题 。 通 过 集思广益 ， 提 出 改进 方法 ， 在 紧 接 着 的 迭代 中 进行 改进 。 


在 下 个 和 迭代 的 回顾 会 议 一 开始 ， 会 首先 关注 上 一 次 回顾 会 议 的 结果 是 否 被 落实 。 


1.7 页面 跳 转 后 出 现 HTTP 400 错 误 








公司 网 站 又 升级 了 ! 这 次 升级 后 网 站 增加 了 一 个 保险 报价 功能 : 客户 先 在 网 站 上 回答 公司 设计 的 各 种 问题 ( 单 选 题 ) ， 系 统 会 把 答案 汇总 起 来 ， 传 给 后 台 计 算 价格 ,然后 后 台 系统 把 计算 
出 的 保险 报价 返回 给 网 站 并 显示 在 页 面 上 。 


从 功能 上 看 ， 小 蔡 觉 得 这 个 功能 需 





求 的 关键 是 网 站 上 设计 的 每 一 个 问题 都 会 作为 一 个 价格 因子 并 对 最 终 报价 产生 影响 。 测 试 的 重点 应 该 是 检查 每 个 因子 能 够 引起 的 价格 变化 是 否 符合 预 
期 。 另 外 由 于 每 类 问题 都 分 布 在 不 同 的 页 面 上 ， 所 以 需要 确保 在 页 面 切 换 后 ， 系 统 能 保存 之 前 选择 的 答案 而 不 丢失 。 最 后 性 能 要 求 是 在 后 台 系 统 返回 报价 的 时 间 上 ， 根 据 业 务 方 的 需求 需要 遵 
守 2/5/8 原 则 ， 最 长 不 能 超过 8 秒 ， 所 以 还 需要 增加 对 应 的 性 能 测试 。 
设计 完 用 例 ， 小 蔡 和 开 发 人 员 一 起 进行 了 冒 烟 测试 ， 结 果 每 个 功能 都 符合 预期 。 于 是 小 蔡 在 正式 测试 阶段 把 大 部 分 精力 都 放 到 了 验证 各 个 价格 因子 对 价格 变化 的 影响 上 面 。 
经 过 大 量 的 反复 选择 问题 答案 和 页 面 切 换 操作 后 ， 小 葵 像 之 前 一 样 准备 进入 到 报价 汇总 


导 


面 查看 最 终 价格 ， 突 然 发 现 页 面 出 现 HTTP 400 错 误 ( 见 图 1-14) ! 


Bad Request - Request [oo Long 


HIIP Error 400. Lhe size of the request headers 15 too long. 





图 1-14 HTTP 400 异 常 


小 莹 眼睛 一 亮 ， 赶 紧 





回 退 到 上 一 个 页 面 ， 重 新 点 击 报价 汇总 按钮 再 次 进入 报价 汇总 页 面 ， 反 复试 了 好 几 次 ， 发 现 仍然 会 碰 到 HTTP 400 这 个 问题 。 于 是 她 关闭 并 重新 启动 浏览 


， 尝 试 再 
次 重 现 这 个 问题 ， 准 备 整理 下 出 现 问题 的 场景 ， 然 后 报 给 研发 人 员 修 复 ， 结 果 这 次 却 正常 进入 到 报价 汇总 页 面 。 





小 莹 觉得 挺 奇怪 的 ， 难 道 刚才 是 服务 器 “抽风 ” 才 导 致 HTTP 400 异 常 ? 于 是 她 又 一 连 操作 了 好 几 次 到 汇总 页 面 的 场景 ， 结 果 都 没有 重 现 问题 。 虽 然 感 觉 很 神奇 ， 但 是 因为 没有 能 够 重 现 
问题 ， 小 蔡 也 只 能 暂时 作罢 ， 一 边 想 着 肯定 是 服务 器 抽风 了 吧 ， 一 边 继续 测试 价格 因子 。 











5 分 钟 以 后 ， 当 她 再 次 准备 进入 到 价格 汇总 页 面 时 ， 问 题 又 出 现 了 ， 青 次 显示 HTTP 400 错 误 页 面 ! 看 着 页 面 上 提示 的 错误 信息 ， 小 蔡 突 然 间 有 点 儿 明 白 了 ， 提 示 信 息 说 HTTP Request 
Header 长 度 过 长 ， 因 


L158}. 














此 问题 应 该 是 在 HTTP Request Header 上 。 小 蔡 利 用 浏览 器 自 带 的 开发 工具 查看 了 下 HTTP 的 请 求 头 ， 结 果 瞬 间 就 发 现 Cookie 看 上 去 似乎 比 平时 看 到 的 要 长 好 多 ( 见 图 





小 蔡 怀 疑 是 Cookie 有 问题 ， 于 是 就 找 开 发 人 员 确 认 。 在 给 开发 人 员 演 示 了 一 遍 这 个 Bug 后 ， 开 发 人 员 终 于 分 析出 造成 这 一 结果 的 直接 原 | 
超标 ， 最 后 发 生 HTTP Error 400。 而 再 深入 一 层 的 根本 原因 
地 添加 到 Cookie 已 有 信息 之 后 











因 是 Cookie 长 度 太 长 ， 导 致 Request Header 长 度 
是 开发 人 员 为 了 在 切换 页 面 时 保存 前 几 个 页 面 的 答案 状态 ， 把 这 些 状态 存 到 了 Cookie 里 面 ， 而 每 次 翻 页 的 时 候 又 把 答案 信息 错误 
， 导 致 随 着 小 蔡 翻 页 操作 越 来 越 多 ，Cookie 也 越 来 越 长 ， 最 后 当 Cookie 长 度 超过 浏览 器 限制 后 就 产生 了 错误 。 





























v Request Headers view source 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9, image/webp,*/*;q=0.8 
Accept-Encoding: gzip, deflate, sdch 
Accept-Language: en-US,en;q=0.8,zh-CN;q=0,6,zh;q=0.4 
Cache-Control: no-cache 
Connection: keep-alive 


Cookie: BDUSS=jdUMmZyM6syeGgxTEF5S3gzQVZmQjLyMepXU1RtMjYxeFYyUnVUbHRITVFzNzVXQVFBQUFBJCQAAAAAAAAAAAEAAAALdiYKeHV4dGMAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA 


AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABAmL1YQ]JpdWa; ispeed_lsm=2; MCITY=-75%3A; BAIDUID=65C869D15C65B7CAC64CC129A8F15313:FG=1; PSTM=1468646529; BIDUPSID=22B 
200EAASC5C3AF4B340AF1AE723465; pgv_pvi=5675634688; pgv_si=s7559645184; BDRCVFR[feWj1Vr5u3D]=mk3SLVN4HKm; H_PS_645EC=f886T6yU6ispuPqLvWUKkURxjdMrPw2B]U8fw2Fq9 
tCuYiceQQs112fcx2BgVfeM; BD_CK_SAM=1; BD_HOME=1; H_PS_PSSID=19637_17747_1454_19671_18289_19781_17949_19559_15369_11479_18454_10634; BD_UPN=123253 | 
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABAmL1YQJpdWa; ispeed_lsm=2; MCITY=-75%3A; BAIDUID=65C869D15C65B7CAC64CC129A8F15313:FG=1; PSTM=1466646529; BIDUPSID=228 
200EAASC5C3AF4B340AF1AE723465; pgv_pvi=5675634688; pgv_si=s7559645184; BDRCVFR[fewWj1Vr5u3D]=mk3SLVNAHKm; H_PS_645EC=f886T6yU61ispuPqLvWUKURxjdMrP%2B]U8f%2Fqgl 
tCuYic0QQs112fcx2BgVfeM; BD_CK_SAM=1; BD_HOME=1; H_PS_PSSID=19637_17747_1454_19671_18288_19781_17949_19559_15389_11479_18454_10634; BD_UPN=123253 | 
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABAmL1YQJpdWa; ispeed_lsm=2; MCITY=-75%3A; BAIDUID=65C869D15C65B7CAC64CC129A8F15313:FG=1; PSTM=1468646529; BIDUPSID=228| 





图 1-15 ”从 浏览 器 工具 中 查看 Cookie 





知道 了 问题 原因 ， 小 蔡 仔 细 回 想 了 下 整个 用 例 设计 过 程 ， 





觉得 这 样 的 问题 即使 通过 覆盖 各 种 用 户 使 用 场景 仍然 会 不 好 发 现 。 但 如 果 测 试 人 员 在 测试 之 前 能 够 对 整个 功能 的 设计 或 者 实现 有 
点 ， 并 且 加 以 测试 了 。 例 如 这 次 的 Cookie 超 长 问题 ， 如 果 测 试 人 员 和 开发 人 员 先 进行 一 些 沟通 ， 了 解 到 代码 是 通过 把 信息 
那么 测试 人 员 会 很 自然 地 想到 Cookie 长 度 通 常 是 有 限制 的 ， 因 此 会 对 这 种 存储 信息 的 方式 做 特定 的 测试 。 





存储 到 Cookie 中 去 实现 该 功能 ， 

















全 祝 知 识 HTTP Request Header 长 度 限制 


Request Headet 就 是 往 服务 器 发 送 的 请 求 头 ，HTTP 协 议 中 并 没有 限制 Headet 的 大 小 。 理 论 上 无 论 我 们 的 Header 有 多 大 都 是 可 以 的 。 


但 实际 上 各 个 主流 浏览 器 都 会 对 Headet 长 度 进 行 限制 ， 从 几 十 KB 到 几 百 MB 不 等 ， 基 本 上 能 满足 平时 的 需求 。 此 外 ， 在 服务 端 也 可 以 对 Hedet 长 度 做 限制 。 比 如 Nginx 就 可 以 限制 Headet 的 长 


潭 


HTTP Header 如 果 不 限 制 大 小 会 有 什么 影响 ? 


如 果 某 个 网 站 的 服务 器 是 不 限制 Header 大 小 的 ， 那 么 它 就 有 可 能 被 黑客 利用 实施 攻击 ， 比 如 DDoS。 黑 客 可 以 利用 这 一 点 ， 发 送 一 个 非常 大 (比如 几 MB) 的 请 求 ， 会 占用 服务 器 一 个 进程 
来 专门 处 理 这 个 请 求 。 此 类 请 求 数量 过 多 时 ， 服 务 器 就 无 法 提供 其 他 对 外 服务 。 


1.8 ”使 用 没有 添加 时 间 戳 的 缓存 使 用 户 看 到 过 期 数据 





当代 主流 的 网 站 都 使 用 了 缓存 技术 ， 目 的 在 于 减少 用 户 请 求 对 服务 器 的 压力 。 当 用 户 首次 通过 浏览 器 请 求 服务 器 的 资源 时 ， 服 务 器 会 返回 所 有 的 资源 ; 当 用 户 再 次 请 求 服务 器 资源 时 ， 浏 
览 器 会 判断 资源 是 否 已 更 新 ， 如 果 更 新 了 ， 再 向 服务 器 发 起 请 求 ， 如 果 没有 更 新 ， 就 使 用 浏览 器 中 缓存 的 资源 。 


























这 里 有 一 个 问题 ， 浏 览 器 是 如 何 判 断 资源 是 否 更 新 了 ? 一 般 来 说 ， 资 源 文件 在 文件 名 中 要 么 添加 时 间 戳 ( 见 图 1-16) ， 要 么 添加 标识 符 (标识 符 可 以 是 任何 一 组 区 别 资源 不 同 版 本 的 数 
值 ， 如 v1、v2, 或 者 GUID 等 ) 来 唯一 区 分 资源 的 不 同 版 本 ( 见 图 1-17) 。 只 要 本 地 缓存 的 资源 文件 和 服务 器 端 最 新 的 资源 文件 名 称 不 一 样 ， 浏 览 器 就 要 从 服务 器 端 获取 新 的 资源 文件 ， 如 果 
样 ， 就 使 用 本 地 缓存 的 资源 。 





























Name x Headers , Preview Response Cookies Timing 
“| bcore.min.js | 


| jquery.lazyload.js?v=2014 
_| cooperation.js?v=2014 


Lazy Load - jQuery plugin for lazy Loading images 
Copyright (c) 2007-2009 Mika Tuupola 

_| jquery.cookie.js?v=2014 

“| followButton.css?ver=9c3db85d74e444e4 
| | sso.js?version=9c3db85d74e444e4 


Licensed under the MIT license: 
http://www.opensource.org/licenses/mit-license.php 


共 其 闪 基 其 其 关 其 


Project home: 
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144 requests | 204 KB transferred | Finish: 4.48s | D.. | Line 1, Column 1 
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图 1-16 ” 带 有 时 间 稚 的 资源 文件 


Name x Headers Preview Response Timing 
?gfe_rdwcr&elmp7nnVordAdHUBAeS8OKOIBQ 
nav_logo242_hr.png 

-| googlelogo_color_272x92dp.png 


国 i2_2ec824b0.png 
本 photo.jp9 


dara-image1gifibase 


44 requests | 113 KB transferred | Finish: 6.66s | DO.., 25.7KB 1056 x 136 image/png 





图 1-17 带 有 标识 符 的 资源 文件 





如 果 资 源 文件 没有 被 添加 时 间 戳 或 者 标识 符 呢 ? 那 用 户 只 能 通过 手动 清除 浏览 器 的 缓存 来 强制 获取 最 新 的 资源 文件 了 ， 不 过 这 样 等 于 所 有 用 户 请 求 的 文件 都 没有 从 浏览 器 缓存 中 读 取 ， 也 
就 没有 为 服务 器 缓解 访问 压力 。 并 且 绝 大 多 数 用 户 并 不 会 去 手动 清除 浏览 器 的 缓存 ， 这 就 导致 用 户 看 到 网 页 的 资源 文件 不 是 最 新 的 。 




















最 近 小 蔡 测 试 的 商品 详细 信息 页 面 出 现 的 Bug 就 属于 这 种 情况 。 根 据 用 户 线 上 反馈 ， 当 用 户 修改 了 商品 图 片 并 且 发 布 之 后 ， 不 能 及 时 看 到 更 新 后 的 图 片 ， 而 是 需要 等 一 段 不 确定 的 时 间 才 
能 看 到 更 新 后 的 图 片 。 



































经 过 小 蔡 和 开 发 人 员 的 调查 ， 发 现 导致 这 个 问题 的 原因 是 缓存 资源 文件 没有 被 设置 时 间 戳 或 者 标识 符 ， 导 致 用 户 修改 后 不 能 看 到 更 新 后 的 图 片 。 而 之 所 以 会 造成 不 确定 时 间 后 才能 看 到 更 
新 后 的 图 片 ， 是 由 于 不 同 浏览 器 对 于 没有 设置 时 间 惟 或 者 标识 符 的 缓存 资源 文件 处 理 不 一 致 造成 的 。 



































例如 IE 缓存 时 间 就 是 一 个 session 的 时 间 ， 如 果 用 户 打开 一 个 新 的 上 窗口 时 ， 他 们 就 会 获取 最 新 的 静态 资源 ;而 其 他 浏览 器 (例如 Firefox) ， 则 会 通过 HTTP 头 文件 中 Last-Modified 参 数 
的 具体 定义 来 判断 是 否 需要 去 重新 获取 资源 。 

















而 小 莹 在 之 前 的 测试 中 ， 为 了 避免 缓存 数据 对 测试 结果 的 影响 ， 她 在 浏览 器 中 设置 了 每 次 退出 浏览 器 时 清空 缓存 ( 见 图 1-18) ， 这 反而 导致 小 蔡 漏 测 了 缓存 没有 及 时 刷新 的 问题 。 








由 于 缓存 在 Web 产 品 中 是 普遍 存在 的 ， 所 以 小 蔡 立 刻 取消 了 浏览 器 中 清除 缓存 的 设置 ， 改 为 使 用 手工 清除 缓存 的 方式 。 当 她 之 后 在 测试 中 遇 到 测试 结果 和 预期 结果 不 同 ， 并 且 有 可 能 是 缓 
存 未 清除 造成 的 情况 时 ， 她 会 手动 清除 缓存 ， 这 样 可 以 更 准确 地 进行 测试 。 














General | Seaunby | Prvacy | Content | connectons | Programs | Advanced es a 
Keep cookies and temporary Internet fles that enable your favorite 
Home page websites to retain preferences and display faster, 


四 : To create home page tabs, type each address on its own line, 
| 2 


about'Tabs V| Temporary Internet files and website files 

Copies of webpages, images, and media that are saved for faster 
viewing, 

IV| Cookies and website data 


Use current | | Usedefault || Usenew tab Files or databases stored on your computer by websites to save 
preferences or improve website performance., 








Startup 





V History 
Start with tabs fom the last session List of websites you have visited, 
®@) Start with home page 
Tabs - “| Download History 








List of files you have downloaded. 
Change how webpages are displayed in tabs, 





Form data 
Saved information that you have typed into forms, 





Browsing history 一 一 一 一 一 


Delete temporary files, history, cookies, saved Passwords, and web 
form information. P el 


区 | Delete browsing history on exit Saved passwords 由 at are automatically filled in When you sign in 
—— to a website you've previously visited, 


V| Tracking Protection, ActiveX Filtering and Do Not Track 

A list of websites exduded from filtering, data used by Tracking 
Protection to detact where sites might automatically be sharing details 
about your visit, and exceptions to Do Not Track requests， 





























About deleting browsing history 








图 1-18 退出 IE 时 自动 删除 缓存 


仿 攻 知识 “Web 缓存 


浏览 器 本 身 有 缓存 机 制 ， 比 较 常见 的 是 浏览 器 会 缓存 访问 过 的 网 页 ， 当 再 次 访问 这 个 URL 地 址 的 时 候 ， 如 果 网 页 没有 更 新 ， 就 不 会 再 次 下 载 网 页 ， 而 是 直接 使 用 本 地 缓存 中 的 网 页 。 只 有 
当 网 站 明确 标识 资源 已 经 更 新 ， 浏 览 器 才 会 再 次 下 载 网 页 。 


使 用 Web 缓 存 可 以 减少 网 络 带 宽 消耗 、 降 低 服 务 器 压力 、 减 少 网 络 延 迟 ， 加 快 页 面 打开 速度 。 同 时 我 们 也 可 以 使 用 代理 服务 器 ， 在 代理 过 程 中 做 缓存 处 理 ， 也 可 以 使 用 CDN 网 络 提供 的 缓 
存 能 力 。 


除了 上 述 提 到 的 软件 之 外 的 缓存 方式 ， 服务 器 端 软 件 内 部 也 经 常 使 用 各 种 缓存 ,例如 使 用 数据 库 进行 缓存 ， 或 者 使 用 内 存 进 行 缓存 ， 也 可 以 提高 用 户 访问 网 页 的 速度 。 


1.9 ”代理 服务 器 过 度 缓存 文件 导致 读 取 错误 的 账号 信息 


缓存 不 仅仅 是 Web 产 品 为 了 缓解 用 户 访问 带 给 服务 器 的 压力 而 设置 的 ， 而 且 用 户 (例如 企业 ) 为 了 减少 多 用 户 访问 同一 个 网 站 占用 过 多 带宽 ， 也 可 以 设置 自己 内 部 的 缓存 服务 器 。 


小 蔡 的 公司 就 为 大 家 设置 了 这 样 一 组 缓存 服务 器 。 这 些 缓存 服务 器 的 原理 和 浏览 器 的 缓存 原理 类 似 ， 当 大 家 访问 网 页 时 ， 首 先 请 求 的 是 这 些 服务 器 上 的 资源 ， 如 果 没 有 命中 ， 也 就 是 说 这 
些 资源 不 在 公司 内 部 的 缓存 服务 器 上 ， 这 些 服务 器 才 向 公司 外 部 真实 的 服务 器 发 送 请 求 ， 等 请 求 返回 后 ， 缓 存 服务 器 还 需要 把 这 些 资源 保存 在 本 地 ， 以 便于 其 他 用 户 对 同一 网 页 的 再 次 访问 ， 
然后 才 把 这 些 资源 发 送 回 最 开始 发 送 请 求 的 用 户 ( 见 图 1-19) 。 
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图 1-19 ”企业 内 部 缓存 服务 器 





当然 我 们 这 里 只 是 简单 地 介绍 一 下 内 部 缓存 服务 器 进行 缓存 的 过 程 ， 很 多 例如 缓存 如 何 过 期 这 些 细节 在 这 里 就 不 详 述 了 。 











小 莹 在 测试 网 站 的 过 程 中 ， 发 现 自己 登录 测试 账号 后 ， 首 先 会 看 到 其 他 测试 账号 信息 (而 且 这 个 账号 不 固定 ) ， 如 果 这 时 候 进 行 任何 操作 ， 很 有 可 能 出 现 错误 页 面 ， 尤 其 是 与 账户 信息 相 
关 的 操作 ， 所 以 小 蔡 只 有 强制 刷新 或 者 退出 后 ， 再 次 登录 才能 看 到 刚才 登录 的 账号 信息 ， 并 且 正 常 地 进行 测试 。 这 个 问题 在 早上 一 般 不 会 发 生 ， 而 其 他 时 间 出 现 的 频率 就 要 高 很 多 。 























发 生 几 次 之 后 ， 小 蔡 觉 得 很 好 奇 ， 就 询问 了 其 他 的 测试 人 员 ， 发 现 大 家 都 有 同样 的 问题 ， 在 和 老 牛 一 起 分 析 后 ， 他 们 觉得 有 可 能 是 公司 内 部 缓存 服务 器 机 制导 致 了 这 个 问题 ， 但 是 至 于 为 
什么 早上 这 个 问题 不 容易 发 生 ， 还 是 不 太 了 解 。 


如 














带 着 这 个 问题 还 有 他 们 的 怀疑 ， 小 蔡 和 老 牛 找到 了 公司 信息 维护 的 相关 人 员 。 经 确认 ， 确 实 是 他 们 缓存 了 测试 服务 器 的 资源 ， 而 且 还 缓存 了 登录 用 户 的 Cookie 文 件 。 











所 以 当 测试 人 员 访 问 测试 服 务 器 时 ， 缓 存 服务 器 将 输入 的 用 户 名 和 密码 以 及 Cookie 文 件 一 起 发 送 给 了 测试 服务 器 。 虽 然 服务 器 接收 了 新 的 登录 用 户 名 和 密码 ， 但 是 显示 却 使 用 的 是 
Cookie 里 面 的 信息 。 所 以 ， 在 进行 账户 相关 操作 时 ， 服 务 器 并 不 知道 应 该 对 哪个 账号 进行 操作 ， 于 是 出 现 了 错误 页 面 。 














那 为 什么 早上 这 个 问题 出 现 的 几率 会 小 很 多 呢 ? 根据 小 蔡 他 们 的 猜测 ， 很 可 能 是 因为 早上 正式 开始 执行 测试 的 人 员 比 较 少 ， 时 间 间 隔 长 ， 导 致 Cookie 文 件 虽 然 被 发 送 ， 但 是 过 期 了 ， 所 
以 服务 器 很 少 会 出 现 错误 页 面 。 











最 后 ， 经 过 公司 信息 维护 的 相关 人 员 的 重新 配置 ， 取 消 了 对 登录 用 户 Cookie 文 件 的 缓存 ， 小 蔡 他 们 再 也 没有 遇 到 这 个 账号 显示 错乱 的 问题 。 








Or 展 知识 “Session 和 Cookie 


由 于 HTTP 是 一 个 无 状态 协议 ， 客 户 端 每 次 发 出 请 求 时 ， 本 次 请 求 无 法 得 知 上 一 次 请 求 的 状态 信息 。 在 常见 的 网 站 中 ， 服 务 端 需要 在 多 次 HTTP 请 求 间 共 享 数据 ， 例 如 用 户 在 购物 网 站 登录 
跳 转 到 商品 页 面 ， 这 时 候 服务 器 端 需 要 知道 该 用 户 是 否 已 经 登录 过 。 在 技术 上 可 以 使 用 Session 和 Cookie 去 做 这 件 事情 。 





by 


简单 来 说 ，Session 是 在 服务 端 保存 的 数据 ，Cookie 是 在 客户 端 浏览 器 中 保存 的 数据 ， 它 们 一 起 合作 ， 来 实现 跨 HTTP 请 求 的 数据 共享 。 例 如 ， 当 服务 器 第 一 次 创建 Session 时 ， 在 内 存 中 记录 
了 用 户 的 信息 ， 同 时 会 在 HTTP 协议 中 告诉 客户 端 ， 需 要 在 Cookie 里 面 记录 一 个 Session ID ， 以 后 每 次 请 求 都 会 把 这 个 Session ID 发 送 到 服务 器 ， 服 务 器 就 可 以 知道 这 个 用 户 是 谁 了 ， 从 而 能 从 服 
务 器 端 查询 出 此 用 户 的 各 种 相关 信息 。 


1.10 多余 的 空格 造成 服务 器 被 删除 





Tl 


在 敏捷 测试 中 ， 测 试 工 作 不 仅 包 括 设计 和 执行 测试 用 例 、 编 写 测试 报告 ， 以 及 测试 计划 和 策略 的 制定 ， 还 有 测试 部 署 脚本 等 工作 。 这 次 小 葵 在 执行 部 署 脚本 的 测试 过 程 中 发 现 了 一 个 严 
的 问题 ， 这 个 Bug 会 导致 整个 测试 服务 器 被 删除 ， 事 情 的 缘由 是 这 样 的 。 











小 莹 根据 开发 人 员 提 交 的 部 署 脚 本 和 执行 步骤 ， 一 步 步 在 测试 环境 中 进行 部 署 ， 同 时 去 验证 部 署 脚 本 中 是 否 有 遗漏 和 错误 。 当 执行 完 部 署 脚本 中 删除 临时 文件 的 步骤 后 ， 小 葵 发 现 后 续 步 
又 都 不 能 执行 了 ! 经 过 调查 发 现 原因 是 测试 服务 器 已 经 被 格式 化 了 。 





虽然 测试 服务 器 都 是 虚拟 化 的 ， 可 以 很 快 在 测试 环境 重新 建立 一 台 测 斌 服务器， 但 是 ， 如 果 这 个 Bug 出 现在 生产 环境 ， 那 将 会 是 非常 大 的 灾难 ! 














小 莹 找到 了 刚才 执行 过 程 中 出 现 问题 的 语句 ， 是 “rm-rf/tmp”。 她 仔细 检查 了 整个 语句 ， 发 现 测试 服务 器 被 格式 化 的 原因 是 在 tmp 前 面 多 了 一 个 空格 ， 这 个 空格 不 仔细 看 还 看 不 出 来 
(业内 也 有 同样 的 知名 例子 : Bumblebee 误 删 用 户 文件 夹 ， 如 图 1-20 所 示 ， 在 最 后 一 行 的 /usrlib… 语 句 中 在 usr 后 就 被 多 写 了 一 个 空格 ) 。 























install.sh 


@@ -37,7 +37,7 60 


You should have received a copy of the GNU General Public License 


along with bumblebee. If not, see <http://www.gnu.org/licenses/>. 
# 
-BUMBLEBEEVERSION=1.4.31 
49 +BUMBLEBEEVERSION=1.4.32 
41 
42 
43ED ROOT_UID=6 
@@ -348,7 +348,7 @@ case "$DISTRO" in 
ln -s /usr/lib/mesa/ld.so.conf /etc/alternatives/g] conf 
rm -rf /etc/alternatives/xorg extra_ modules 
rm -rf /etc/alternatives/xorg extra modules-bumblebee 
rm -rf /usr /lib/nvidia-current/xorg/xorg 





图 1-20 Bumblebee 误 删 用 户 文件 夹 


不 过 在 Linux 系 统 中 ， 即 使 输入 了 灾难 性 的 操作 语句 ， 但 如 果 没有 管理 员 的 权限 也 是 无 法 执行 的 ， 因 为 在 执行 这 条 语句 的 时 候 ， 只 会 出 现 权限 不 足 ， 无 法 操作 的 提示 ， 不 会 把 服务 器 整个 
删除 。 如 图 1-21 所 示 ， 执 行 删除 语句 的 用 户 由 于 没有 管理 员 权限 而 被 拒绝 执行 了 。 














HuangYongs-MacBook-Pro:~ huangyong$ rm -rf /var/empty/ 
rm: AV [A Se denied 


HuangYongs-MacBook-Pro:~ huangyong$ 国 





图 1-21 删除 文件 需要 相应 的 权限 


所 以 小 蔡 下 一 步 需 要 在 脚本 中 找 出 是 哪里 赋予 了 管理 员 权 限 ， 叶 致 后 来 删除 语句 被 允许 执行 的 。 再 仔细 查找 之 前 的 部 署 脚本 ， 果 然 不 出 所 料 ， 之 前 有 一 个 操作 步骤 需要 用 管理 员 权 限 来 复 
制 几 个 不 同 的 文件 到 管理 员 文 件 夹 。 通 常 做 此 类 操作 时 ， 会 只 针对 这 条 语句 赋予 权限 ， 例 如 使 用 sudo 命 令 的 这 条 语句 : “sudo cp xxx.zip/var/xxx/xxx/”， 但 开发 人 员 在 这 里 为 了 简化 脚本 
的 书写 ， 把 每 一 句 最 开始 的 sudo 转 换 成 单独 的 一 条 “su-root”， 这 种 改变 造成 之 后 执行 的 所 有 语句 都 被 赋予 管理 员 权限 进行 执行 ， 最 终 导 致 格式 化 测试 服务 器 的 命令 也 被 执行 了 。 


小 蔡 把 这 一 发 现 告诉 了 开发 人 员 后 ， 开 发 人 员 修 改 了 两 处 代码 : 一 是 删除 “su-root” 命 令 ， 改 为 针对 每 次 执行 需要 特定 权限 的 语句 时 单独 添加 sudo 的 方式 ， 确 保 脚本 执行 的 权限 是 正确 
的 ; 第 二 是 删除 了 导致 测试 服务 器 被 格式 化 的 那个 空格 。 


O&AR® sudo 和 su 
sudo 用 于 类 UNIX 操 作 系统 (如 BSD) 、Mac OS 义 ， 以 及 GNU/Linux， 以 允许 用 户 通过 安全 的 方式 使 用 特殊 的 权限 去 运行 程序 ， 例 如 使 用 系统 的 超级 用 户 权限 去 运行 程序 。 
su 命令 可 以 让 操作 者 在 虚拟 控制 台 切 换 当 前 用 户 账户 ， 使 用 su 的 缺点 之 一 是 必须 要 先 获取 超级 用 户 的 密码 。 

侠 攻 cniR@ Linux 文 件 权限 
Linux 系 统 中 的 文件 和 目录 通过 使 用 访问 许可 权限 ， 来 确定 谁 能 通过 何 种 方式 进行 访问 与 操作 。 文 件 或 目录 的 访问 权限 分 为 只 读 、 只 写 和 可 执行 3 种 。 


确定 了 文件 的 访问 权限 后 ， 用 户 能 使 用 Linux 系 统 自 带 的 chmod 命 令 来 重新 设 定 访问 权限 ， 也 能 利用 chown 命 令 来 更 改 文件 或 目录 的 所 有 者 ， 或 者 使 用 chgrp 命 令 来 更 改 文件 或 目录 的 用 户 





组 。 


本 展 40i 虚拟 化 





在 计算 机 技术 中 ， 虚 拟 化 (virtualization) 是 一 种 资源 管理 技术 ， 将 计算 机 的 各 种 实体 资源 ， 如 服务 器 、 网 络 、 内 存 及 存储 等 ， 予 以 抽象 、 转 换 后 呈现 出 来 ， 供 多 个 用 户 共享 使 用 。 


1.11 IE 9 不 支持 占 位 符 导 致 搜索 行为 异常 


对 于 浏览 器 兼容 性 测试 ， 一 直 都 是 Web 测 试 中 重要 的 一 环 ， 小 蔡 在 测试 产品 中 自然 也 不 能 漏 掉 。 








由 于 小 蔡 测 试 的 产品 是 面向 普通 用 户 的 ， 所 以 小 葵 选 择 进 行 测试 的 浏览 器 ， 也 是 开发 团队 选择 优先 支持 的 浏览 器 ， 是 基于 市 场 占有 率 最 高 的 几 款 浏览 器 : Chrome、Firefox、Safari 和 
IE。 这 些 浏览 器 的 版 本 也 很 多 ， 如 果 全 部 支持 也 是 不 可 能 的 ， 所 以 开发 团队 选择 支持 最 新 版 本 的 Chrome、Firefox 和 Safari， 以 及 IE 9~IE 11， 还 有 IE EDGE。 











Chrome 和 Safari 都 是 基于 WebKit 核 心 的 ， 所 以 差别 不 大 。Firefox 虽 然 基于 Gecko， 但 是 对 于 绝 大 多 数 Web 标 准 协议 都 是 支持 的 ， 所 以 和 Chrome 及 Safari 的 差别 也 很 小 。IE 因 为 使 用 的 
是 微软 自己 的 内 核 ， 所 以 和 其 他 浏览 器 的 差别 会 大 不 少 ， 尤 其 是 版 本 较 时 的 IE 9~ IE 11， 不 过 微软 在 IE EDGE 上 已 经 开始 兼容 WebKit， 并 且 兼 容 最 新 的 Web 标 准 协议 ， 所 以 和 其 他 浏览 器 的 
差别 也 不 大 了 。 





小 葡 根 据 搜集 到 的 这 些 浏览 器 差异 的 信息 ， 决 定 兼 容 性 测试 的 重点 放 在 测试 Chrome 和 IE 9 两 个 浏览 器 上 面 。 


由 于 产品 是 大 型 购物 网 站 ， 所 以 用 户 需要 使 用 搜索 特定 商品 来 查看 商品 详细 信息 。 而 在 搜索 框 中 ， 业 务 方 希望 推广 一 些 畅销 产品 ， 所 以 使 用 了 占 位 符 (Placeholder) 的 方式 ， 使 用 户 在 
点 击 搜索 框 之 前 ， 在 搜索 框 的 搜索 关键 字 部 分 ， 看 到 的 是 通过 占 位 符 设置 的 推广 产品 的 信息 。 














小 蔡 在 执行 浏览 器 兼容 性 测试 时 发 现 ， 由 于 添加 了 占 位 符 ， 导 臻 Chrome 和 IE 9 浏览 器 上 搜索 功能 的 行为 不 一 致 ( 见 图 1-22) 。 


未 输入 时 搜索 框 显 示 的 占 位 符 

















在 Chrome 上 点 击 搜索 框 


| 全 部 分 类 Web 测 试 回 事 | 


在 IE 9 上 点 击 搜索 框 








图 1-22 IE 9 的 占 位 符 会 被 当 作 搜索 关键 字 
“在 Chrome 上 当 用 户 点 击 搜索 框 时 ， 占 位 符 会 消失 ， 用 户 输入 的 字符 会 被 当 作 搜索 关键 字 进 行 搜索 。 
: 在 IE 9 上 当 用 户 点 击 搜 索 框 时 ， 占 位 符 并 不 会 消失 ， 用 户 输入 的 字符 以 及 占 位 符 的 内 容 会 一 起 被 当 作 搜 索 关键 字 进 行 搜索 。 


这 就 导致 用 户 在 两 个 浏览 器 上 使 用 相同 的 操作 步骤 进行 搜索 时 的 搜索 结果 不 一 致 。 想 要 解决 这 个 问题 ， 用 户 只 有 一 个 一 个 字符 地 删除 |E 9 浏览 器 中 搜索 框 里 的 占 位 符 ， 这 对 用 户 来 说 并 不 
友好 。 





经 过 开发 人 员 调查 发 现 ， 这 个 问题 的 原因 是 IE 9 浏览 器 本 身 就 不 支持 占 位 符 ， 所 以 对 于 占 位 符 的 操作 也 是 有 问题 的 。 开 发 人 员 只 好 对 IE 9 上 的 搜索 框 单独 处 理 ， 给 搜索 框 先 添加 一 组 灰色 
的 默认 文字 ， 来 展示 畅销 商品 ， 等 用 户 点 击 搜索 框 时 再 清除 这 些 字符 。 











小 莹 庆幸 IE 9 是 支持 的 最 低 版 本 的 上 E， 如 果 需 要 再 兼容 IE 6~IE 8， 那 浏览 器 之 间 的 差异 更 多 更 复杂 ， 也 会 让 开发 和 测试 工作 的 难度 加 大 不 少 。 同 时 她 决定 定期 查看 用 户 的 浏览 器 使 用 率 和 
使 用 量 ， 等 大 量 用 户 不 再 使 用 IE 9 时 ， 就 可 以 不 用 再 做 现在 这 种 针对 特定 浏览 器 编写 代码 和 测试 某 项 功能 了 。 











食 后 展 知识 。 浏 鉴 器 内 核 





排版 引擎 负责 解析 标记 式 内 容 (如 HTML、XML、CSS、XSL 及 图 像 文件 等 ) ， 并 将 排版 后 的 内 容 输出 至 显示 器 或 打印 机 。ChromiumAChrome (iOS 版 除外 ) 与 Opera 使 用 的 浏览 器 引擎 是 
基于 Blink， 是 WebKit 的 一 个 分 支 ，Firefox 网 页 浏览 器 使 用 了 Gecko 网 页 浏览 器 引 掌 ，Internet Explotet 使 用 的 是 Trident 网 页 浏览 器 引擎 。 
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本 章 我 们 介绍 了 由 特定 技术 引起 的 功能 测试 问题 ， 下 一 章 我 们 会 接触 到 由 于 测试 覆盖 导致 的 问题 。 


第 2 章 ”功能 测试 : 测试 覆盖 篇 





第 1 章 我 们 已 经 介绍 了 在 功能 测试 中 最 常 出 现 的 由 于 代码 实现 的 技术 手段 所 导致 的 问题 ， 其 实 还 有 不 少 Bug 是 由 于 我 们 在 测试 过 程 中 测试 覆盖 率 不 够 造成 的 。 

















现在 让 我 们 来 一 起 看 看 测试 覆盖 率 不 足 会 造成 什么 样 的 问题 ， 以 及 如 何 有 效 地 设计 测试 用 例 避 免 出 现 这 些 问题 。 








2.1 ”设计 测试 时 对 需求 分 析 不 透彻 导致 给 予 用 户 错误 的 折扣 


网 站 最 开始 上 线 时 就 具备 了 类 似 “ 竞 价 排 名 ”的 功能 一 一 “优先 显示 ”， 可 以 帮助 客户 把 自己 的 商品 更 靠 前 地 显示 给 用 户 ， 增 加 商品 的 曝光 率 。 这 一 功能 分 为 4 个 级 别 : 金牌 用 户 (每 年 





100000 元 ，1000 件 商品 展示 ) 、 银 牌 用 户 (每 年 80000 元 ，600 件 商品 展示 ) 、 铜 牌 用 户 (每 年 50000 元 ，300 件 商品 展示 ) 以 及 标准 用 户 〈 单 件 商品 收取 200 元 








展示 费 ) 。 用 户 默认 是 标准 


用 户 ， 只 有 付费 之 后 才能 升级 到 不 同 的 级 别 ， 而 不 同 级 别 用 户 的 商品 ， 其 展示 方式 和 优先 级 也 是 不 一 样 的 : 金牌 用 户 的 商品 会 显示 在 银牌 用 户 的 商品 之 前 ， 银 牌 用 户 的 商品 会 显示 在 铜牌 用 户 











的 商品 之 前 ， 依 此 类 推 ， 金 牌 用 户 的 商品 也 会 显示 得 更 明显 、 更 突出 ， 其 次 是 银牌 用 户 的 商品 ， 再 次 是 铜牌 用 户 的 商品 ， 最 后 是 标准 用 户 的 商品 ( 见 图 2-1) 。 
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图 2-1 不 同等 级 商品 优先 显示 





Details 


$229,000 


Details 


上 线 之 后 不 少 用 户 反馈 会 员 收费 比较 贵 ， 业 务 方针 对 这 一 情况 ， 决 定 当 非 标准 用 户 次 年 续费 的 时 候 ， 给 用 户 打 75 折 。 而 且 针对 金牌 用 户 这 种 大 客户 ， 当 展示 的 商品 超过 1000 件 ， 可 以 享 





受 8 折 优 惠 。 





小 蔡 在 测试 这 部 分 新 增 功能 的 时 人 息 ， 首 先 就 遇 到 了 需求 不 明确 的 情况 : 对 于 金牌 用 户 超过 1000 件 商品 享受 8 折 的 基准 费用 ， 究 竟 是 75 折 后 的 价格 ， 还 是 以 单 件 商品 对 于 会 费 的 均 价 ， 抑 或 
是 标准 展示 费用 ?她 觉得 应 该 是 按 75 折 的 计算 ， 因 为 这 样 对 用 户 有 利 ， 用 户 会 因为 价格 更 优惠 而 进行 多 次 购买 ; 而 开发 人 员 则 认为 是 以 标准 展示 费用 为 基准 费用 ， 因 为 会 费 和 超 量 展示 费用 中 























的 所 有 数值 都 不 是 固定 值 ， 而 是 拿 参 数 计算 出 来 的 。 如 果 基 准 是 标准 展示 费用 ， 就 能 大 大 简化 计算 逻辑 。 











在 相持 不 下 时 ， 老 牛 建议 她 们 去 找 业务 方 确 认 ， 最 后 得 到 的 答复 竟然 是 双方 都 没有 选择 的 一 一 以 单 件 商品 对 于 会 费 的 均 价 的 8 折 计算 ， 也 就 是 100000/1000x80%=80 元 。 





确定 了 需求 之 后 ， 小 蔡 又 发 现在 一 种 特殊 场景 下 ， 优 惠 的 计算 是 错误 的 : 当 用 户 第 1 年 是 银牌 或 者 铜牌 用 户 ， 觉 得 商品 展示 数量 不 够 用 ， 所 以 第 2 年 升级 到 金牌 用 户 ， 并 且 展 示 的 商品 超过 











了 1000 件 时 ， 用 户 得 到 的 8 折 优惠 是 基于 银牌 用 户 或 者 铜牌 用 户 的 单价 展示 价格 。 





与 此 类 似 ， 如 果 用 户 第 1 年 是 金牌 用 户 ， 但 是 第 2 年 变 成 了 银牌 或 者 铜牌 用 户 ， 超 出 600/300 件 商品 的 折扣 却 是 基于 金牌 用 户 价格 来 计算 的 ;更 有 甚 者 ， 即 使 变 成 了 标准 用 户 ， 但 其 所 有 商 


品 的 展示 价格 仍然 都 是 基于 金牌 用 户 展示 价格 来 计算 的 。 


小 莹 认为 这 个 问题 在 于 计算 逻辑 的 复杂 ， 所 以 就 使 用 了 正 交 试验 设计 法 、 边 界 值 分 析 、 等 价 类 划分 等 测试 用 例 设计 方 法 ， 列 出 了 所 有 测试 数据 和 期 竺 结果， 然后 把 下 面 这 些 测试 场景 交 给 


开发 人 员 和 业务 方 ， 希 望 避免 出 现 更 多 的 问题 或 者 遗漏 问题 。 
1) 标准 用 户 ， 第 1 年 ，100 件 商品 ， 收 费 20000 元 。 
2) 铜牌 用 户 ， 第 1 年 ，0~300 件 商品 ， 收 费 50000 元 。 
3) 铜牌 用 户 ， 第 1 年 ，n 件 (n>300) 商品 ， 收 费 50000+50000/300X (n-300) 元 。 


4) 银牌 用 户 ， 第 1 年 ，0 一 600 件 商品 ， 收 费 80000 元 。 


| 


银牌 用 户 ， 第 1 年 ，n 件 (n>600) 商品 ， 收 费 80000+80000/600X (n-600) 元 。 


6) 金牌 用 户 ， 第 1 年 ，0~1000 件 商品 ， 收 费 100000 元 。 


7) 金牌 用 户 ， 第 1 年 ，n 件 (n>1000) 商品 ， 收 费 100000+100000/1000X (n-1000) 元 。 
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Mt 


铜牌 用 户 ， 连 续 两 年 为 铜牌 用 户 ，0~300 件 商品 ， 收 费 50000 X75%=37500 元 。 





9) 铜牌 用 户 ， 连 续 两 年 为 铜牌 用 户 ，n 件 (n>300) 商品 ， 收 费 37500+50000/300X (n-300) 元 。 


10) 银牌 用 户 ， 连 续 两 年 为 银牌 用 户 ，0 一 600 件 商品 ， 收 费 80000X75%=60000 元 。 


11) 银牌 用 户 ， 连 续 两 年 为 银牌 用 户 ，n 件 (n>600) 商品 ， 收 费 60000+80000/600X (n-600) 元 。 
12) 金牌 用 户 ， 连 续 两 年 为 金牌 用 户 ，0 一 1000 件 商品 ， 收 费 100000 X75%=75000 元 。 


13) 金牌 用 户 ， 连 续 两 年 为 金牌 用 户 ，n 件 (n>1000) 商品 ， 收 费 75000+100000/1000X80%X (n-1000) 元 。 











这 次 拿 给 业务 方 确认 的 时 候 果真 又 出 现 了 问题 :业务 方 希望 更 多 的 非 标准 用 户 选 择 金牌 用 户 ， 所 以 对 于 铜牌 和 银牌 用 户 (包括 金牌 用 户 第 1 年 ) 











(200 元 ) 。 所 以 包含 测试 数据 的 场景 应 该 如 下 。 


1) 标准 用 户 ， 第 1 年 ，100 件 商品 ， 收 费 20000 元 。 


2) 铜牌 用 户 ， 第 1 年 ，0 一 300 件 商品 ， 收 费 50000 元 。 
3) 铜牌 用 户 ， 第 1 年 ，n 件 (n>300) 商品 ， 收 费 50000+200X (n-300) 元 。 





4) 银牌 用 户 ， 第 1 年 ，0~600 件 商品 ， 收 费 80000 元 。 
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银牌 用 户 ， 第 1 年 ，n 件 (n>600) 商品 ， 收 费 80000+200X (n-600) 元 。 


6) 金牌 用 户 ， 第 1 年 ，0~1000 件 商品 ， 收 费 100000 元 。 








7) 金牌 用 户 ， 第 1 年 ，n 件 (n>1000) 商品 ， 收 费 100000+200X (n-1000) 元 。 





8) 铜牌 用 户 ， 连 续 两 年 为 铜牌 用 户 ，0 一 300 件 商品 ， 收 费 50000X75%=37500 元 。 
9) 铜牌 用 户 ， 连 续 两 年 为 铜牌 用 户 ，n 件 (n>300) 商品 ， 收 费 37500+200X (n-300) 元 。 


10) 银牌 用 户 ， 连 续 两 年 为 银牌 用 户 ，0~600 件 商品 ， 收 费 80000X75%=60000 元 。 


11) 银牌 用 户 ， 连 续 两 年 为 银牌 用 户 ，n 件 (n>600) 商品 ， 收 费 60000+200X (n-600) 元 。 


12) 金牌 用 户 ， 连 续 两 年 为 金牌 用 户 ，0 一 1000 件 商品 ， 收 费 100000X75%=75000 元 。 


13) 金牌 用 户 ， 连 续 两 年 为 金牌 用 户 ，n 件 (n>1000) 商品 ， 收 费 75000+100000/1000X80%X (n-1000) 元 。 























现 ， 当 遇 到 这 种 复杂 逻辑 的 时 候 ， 必 须 使 用 清晰 而 明确 的 场景 ， 甚 至 需要 包含 数据 ， 才 能 让 所 有 人 对 于 同样 功能 的 认识 达成 一 致 。 











， 超 量 商品 的 价格 应 是 标准 用 








户 的 价格 


当 业 务 方 确认 了 所 有 的 测试 场景 后 ， 小 蔡 和 开 发 人 员 终于 搞 清 楚 业 务 需求 究竟 是 怎样 的 了 ， 也 更 有 信心 一 次 性 全 面 地 实现 对 应 的 功能 ， 而 非 之 前 不 断 地 对 新 发 现 的 问题 修 修补 补 。 她 还 发 


小 莹 把 自己 的 想法 告诉 了 老 牛 ， 老 牛 告诉 她 ， 业 界 对 这 种 实践 已 经 归纳 出 一 套 理论 方法 ， 名 叫 “实例 化 需求 ” (Specification By Example，SBE) ， 她 可 以 多 了 解 一 下 ， 同 时 在 产品 测 





试 中 实践 。 


@ 术 Li 正 交 试 验 设计 法 


正 交 试验 设计 法 是 一 种 针对 多 个 输入 值 对 测试 结果 产生 影响 的 情况 设计 测试 案例 的 方法 。 这 一 方法 使 用 首先 列 出 所 有 影响 测试 结果 的 因素 ， 然 后 把 这 些 因 素 做 正 交 表 ， 再 挑选 出 有 最 有 代 


表 性 的 组 合 ， 来 减少 测试 案例 ， 使 用 尽 可 能 少 的 测试 案例 ， 达 到 同样 的 测试 效果 。 通 常 对 于 复杂 的 逻辑 分 支 进 行 测试 时 ， 我 们 会 引入 正 交 试验 设计 法 帮助 我 们 不 遗漏 测试 场景 。 


全 二 示 正 交 试验 设计 (Orthogonal experimental design) ， 对 于 小 于 三 个 因素 来 说 在 测试 设计 和 执行 时 都 比较 容易 。 但 是 通常 情况 下 ， 会 对 测试 结果 产生 影响 的 因素 往往 不 只 两 三 个 。 要 


全 履 盖 进行 试验 是 一 件 困难 的 事情 ， 所 以 正 交 试验 设计 是 利用 “ 正 交 表 ” 来 分 析 多 种 因素 的 一 种 设计 方法 。 它 会 挑选 出 部 分 有 代表 性 的 组 合 进行 试验 ， 并 透 过 试验 结果 选 出 最 好 的 组 合 ， 从 而 


使 得 测试 的 效率 得 到 提升 。 
使 用 正 交 试 验 设计 测试 用 例 一 般 有 以 下 几 个 步骤 。 
1) 确定 因素 : 例如 不 同 的 输入 值 以 及 测试 环境 等 。 
2) 确定 因素 的 取 值 范围 : 例如 输入 值 的 类 型 决定 的 取 值 范围 等 。 
3) 选取 每 个 因素 的 代表 值 : 可 以 使 用 等 价 类 划分 和 边界 值 分 析 等 测试 技术 来 确定 因素 在 其 取 值 范围 中 有 哪些 代表 值 。 
4) 制作 正 交 表 : 根据 因素 的 相关 关系 ， 选 择 合适 的 因素 进行 排列 组 合 ， 生 成 适合 测试 目的 的 正 交 表 。 


5) 根据 正 交 表 的 结果 设计 测试 用 例 。 





人 @iRniRGO 需求 分 析 


需求 分 析 是 指 在 创建 一 个 新 的 或 改变 一 个 已 有 的 系统 或 产品 时 ， 确 定 新 系统 的 目标 、 范 围 和 功能 时 所 做 的 所 有 工作 ， 而 在 敏捷 开发 模式 中 ， 这 一 过 程 会 贯穿 产品 的 整个 生命 周期 。 由 于 需 


求 分 析 决 定 了 产品 的 方向 和 需要 达到 的 各 项 目标 (宏观 和 微观 ) ， 所 以 需求 分 析 成 为 软件 开发 过 程 中 至 关 重 要 的 一 个 环节 。 


在 传统 的 软件 开发 过 程 中 ， 由 于 信息 输入 是 单 向 的 ， 所 以 直到 产品 上 线 前 的 测试 甚至 发 布 后 ， 开 发 团队 才能 得 到 真实 用 户 的 反馈 。 这 样 就 导致 了 即使 开发 团队 完美 地 按照 需求 分 析 的 结果 
开发 了 产品 ， 但 是 接触 到 真实 用 户 前 还 是 不 知道 产品 是 否 符合 用 户 期 望 。 所 以 在 敏捷 过 程 中 会 持续 而 且 分 层 地 分 析 和 细 化 需求 ， 并 及 时 寻求 用 户 反 馈 ， 保 证 开发 的 整个 过 程 和 产品 的 方向 都 在 
正轨 上 。 


即使 是 用 敏捷 的 开发 模式 ， 减 少 了 需求 分 析 的 不 确定 性 ， 需 求 分 析 工 作 本 身 也 颇具 挑战 。 

首先 ， 需 要 确定 产品 的 利益 相关 者 ， 然 后 从 他 们 的 想法 中 总 结 和 梳理 信息 ， 并 且 转 化 为 清晰 的 需求 列表 和 产品 路 线 图 。 

其 次 ， 需 要 根据 产品 的 时 间 和 资源 等 要 求 ， 确 定 产品 的 MVP (Minimum Viable Product， 最 小 化 可 行 性 产品 ) 以 及 需求 开发 的 优先 级 。 
最 后 ， 产 品 是 否 要 符合 相关 国家 的 法 律 规范 ， 例 如 对 残障 人 士 的 支持 程度 等 。 


需求 分 析 是 如 此 重要 的 一 个 软件 开发 环节 ， 所 以 不 仅仅 是 业务 分 析 师 或 者 产品 经 理 需要 关心 ， 而 是 整个 团队 都 需要 尽 自己 的 努力 ， 集 思 广 益 ， 充 分 沟通 ， 一 起 想 办 法 保证 需求 的 合理 性 和 
完整 性 及 其 优先 级 等 。 这 也 是 敏捷 开发 模式 中 一 个 很 好 的 实践 。 





#6 展 4mRG@ 实例 化 需求 


实例 化 需求 作为 BDD (Behavior Driven Development， 行 为 驱动 开发 ) 的 一 种 实践 方法 ， 让 业务 和 技术 人 员 一 起 ， 使 用 列举 满足 功能 需求 的 、 具 有 代表 性 的 例子 的 形式 ， 在 项 目 初始 阶段 就 
分 析 和 梳理 清楚 需求 ， 避 免 需求 的 遗漏 和 误解 。 虽 然 这 一 活动 在 整个 开发 过 程 中 都 很 有 效 ， 但 是 使 用 效果 最 明显 的 阶段 还 是 在 项 目 启动 时 期 。 


实例 化 需求 一 般 采 用 以 下 几 个 实践 步骤 : 
“ 从 目标 中 获取 范围 

: 用 实例 进行 描述 

“ 精炼 需求 说 明 

- 自动 化 验证 ， 无 须 改变 需求 说 明 

“ 频繁 验证 

“ 演进 出 一 个 文档 系统 


我 们 说 实例 化 需求 是 行为 驱动 开发 的 补充 ， 是 因为 实例 化 需求 需要 使 用 自然 语言 表达 ， 从 而 使 业务 和 技术 人 员 可 以 达成 一 致 ， 并 且 利用 实例 化 需求 可 以 自动 化 执行 的 优势 ， 形 成 一 份 可 执 
行 的 需求 说 明 。 这 样 产品 所 有 利益 相关 人 对 产品 质量 这 样 一 个 模糊 的 概念 就 有 了 具体 的 认识 : 可 以 从 自动 化 执行 的 结果 看 到 测试 的 覆盖 率 和 分 布 ， 以 及 究竟 哪些 场景 被 履 盖 了 。“ 活 文档 ”是 
实例 化 需求 的 最 高 目标 。 


2.2 ”页 面 字 段 依 赖 导 致 表单 提交 时 出 错 


小 蒙 最 近 在 测试 中 碰 到 一 个 有 意思 的 问题 ， 就 是 在 提交 表单 时 ， 如 果 不 按 表 单 设 定好 的 由 上 到 下 的 顺序 一 个 个 填写 表单 内 容 ， 那 么 在 提交 时 就 会 出 现 提交 失败 的 错误 。 





小 莹 感觉 到 很 奇怪 ， 表 单 顺 序 的 填写 居然 也 会 影响 到 功能 ?” 那 就 随 着 小 蔡 看 看 这 个 问题 是 怎么 发 现 的 ， 以 及 是 什么 原因 引起 的 吧 。 





小 莹 在 测试 用 户 注册 账户 页 面 时 发 现 ， 注 册页 面 内 容 很 多 而 且 表 单 很 长 ， 所 以 她 就 使 用 鼠标 滚动 ， 没 想到 滚动 得 过 快 导 致 有 些 选项 并 没有 填写 /选择 ， 最 后 等 到 她 提交 表单 时 才 发 现 这 一 
点 。 她 只 好 重新 滚动 到 漏 填 / 选 的 字段 重新 填写 ， 然 后 再 次 提交 ， 她 觉得 这 一 次 肯定 没有 问题 ， 可 是 没 想到 ， 注 册 用 户 表单 提交 依然 出 错 了 。 
































为 了 确定 问题 产生 的 原因 ， 小 莹 按照 第 2 次 提交 时 填写 的 信息 在 新 打开 的 页 面 中 重新 进行 了 填写 ， 再 次 提交 后 她 发 现 用 户 账号 注册 成 功 了 。 




















这 样 排查 之 后 发 现 填 写 的 数据 并 没有 问题 ， 那 就 应 该 是 操作 步骤 导致 的 这 个 问题 。 而 小 蔡 之 前 的 操作 和 这 次 的 操作 唯一 不 同 之 处 就 是 对 漏 填 字段 的 填写 /选择 。 她 基本 可 以 把 引起 错误 的 
原因 缩小 为 漏 填 字段。 



































她 发 现 之 前 漏 填 / 选 的 字段 主要 是 文本 框 和 下 拉 列 表 ， 由 于 简单 的 文字 输入 对 同样 的 文本 不 可 能 产生 不 同 的 结果 ， 所 以 最 后 锁定 了 表单 中 的 两 个 下 拉 菜 单 ( 见 图 2-2) 。 















































小 药 发 现 ， 其 实 “ 国 家 /地 区 代码 ”会 根据 “国家 /地 区 ”选择 不 同 的 值 而 变化 的 。 小 蔡 回 想到 在 第 一 轮 测试 中 她 首先 设置 了 “国家 /地 区 代码 ”， 然 后 再 选取 “国家 /地 区 ”时 ,虽然 “ 国 
家 /地 区 代码 ”的 显示 更 改 了 ， 但 是 后 台数 据 并 没有 更 改 ， 所 以 提交 时 才 会 出 错 ; 而 按照 正常 顺序 填写 时 ， 切 换 “ 国 家 /地 区 ”后 ， 默 认 的 “国家 /地 区 代码 ”在 前 后 台 都 进行 了 更 新 ， 所 以 不 
会 出 现 这 个 问题 。 





















































在 和 开发 人 员 沟 通 后 ， 开 发 人 员 确 认 了 小 蔡 的 猜想 : 在 切换 “国家 /地 区 ”时 ， 系 统 前 台 向 后 台 发 送 了 请 求 ， 从 后 台 返 回 的 JSON 中 获取 “国家 /地 区 代码 ”的 信息 。 但 是 如 果 先 选择 
了 “国家 /地 区 代码 ”， 再 切换 “国家 /地 区 ”时 ， 从 JSON 中 获得 的 “国家 /地 区 代码 ”的 信息 虽然 刷新 了 前 台 显示 数据 ， 但 是 并 不 会 重 置 提交 表单 时 的 选择 ， 这 就 造成 了 表单 提交 失败 。 









































创建 帐 己 





aa 转 


| 


最 少 8 个 字符 ， 区 分 大 小 写 








重新 输入 密码 


你 的 电话 号 码 可 帮助 我 们 保持 你 的 帐户 安全 。 





图 2-2 表单 中 “国家 /地 区 代码 ”会 根据 “国家 /地 区 ”变化 


小 莹 找到 了 问题 的 根源 ， 开 发 人 员 很 快 修复 了 这 个 由 于 字段 之 问 有 依赖 ， 一 个 字段 的 取 值 需要 跟随 另 一 个 字段 的 取 值 变化 而 引起 的 问题 。 


Bi Rm JSoN 


在 测试 过 程 中 ， 尤 其 是 近 些 年 开发 的 产品 中 ， 我 们 会 经 常 看 到 JSON 被 用 作 这 些 产品 的 数据 传输 格式 。 所 以 我 们 需要 了 解 到 JSON 的 应 用 领域 和 它 的 特点 ， 尤 其 是 JSON 不 同 于 最 常见 的 XML 


(1) JSON 的 应 用 领域 
1) Web 开 发 : JSON 已 经 被 广泛 的 应 用 于 Web 应 用 的 开发 。 不 过 从 开发 语言 上 看 ，JavaSctipt、Java、Node.js 应 用 使 用 SON 的 情况 比较 多 ，PHP、C# 等 开发 的 应 用 主要 还 是 使 用 XML。 
2) NoSQL ( 非 关 系 型 ) 数据 库 : 不 同 于 传统 的 关系 型 数据 库 ， 一 些 基于 文档 存储 的 非 关系 型 数据 库 选 择 JSON 作 为 其 数据 存储 格式 ， 例 如 MongoDB、CouchDB、RavenDB 等 。 


(2) 与 XML 格式 的 不 同 


JSON 与 XML 最 大 的 不 同 在 于 : XML 是 一 个 完整 的 标记 语言 ， 而 JSON 只 是 一 个 轻 量 级 的 数据 交换 格式 ， 这 使 得 XML 在 程序 分 析 上 需要 比较 多 的 工夫 。 这 一 差别 的 主要 原因 是 XML 的 设计 理 
念 与 SON 不 同 : XML 利用 标记 语言 的 特性 提供 了 很 好 的 扩展 性 ， 具 体 来 说 在 数据 存储 ，XML 在 扩展 和 高 级 检索 方面 相 较 于 JSON 更 有 优势 ; 不 过 JSON 则 由 于 更 加 轻 量 (数据 量 少 ) ， 以 及 支持 
浏览 器 内 建 的 快速 解析 (解析 速度 快 ) ， 使 其 更 适用 于 对 速度 更 敏感 的 网 络 数据 传输 。 


2.3 ”修改 产品 代码 时 忽视 了 对 遗留 数据 的 处 理 


在 线 购物 平台 通常 允许 商户 展示 很 多 商品 信息 ， 而 商户 一 般 会 批量 上 传 这 些 信息 。 小 蔡 所 在 的 产品 团队 也 为 用 户 提供 了 这 一 功能 ， 允 许 他 们 使 用 规定 格式 的 XML 文件 批量 上 传 商品 信息 
( 见 图 2-3) 。 





<?xm] Verslion="1.9"7?7> 
<shop_id>19661</shop_id> 
<item_list> 
<item id="book661"> 
<Category> 图 书 </category> 
<title>LoadRunner 性 能 测试 巧 匠 训 练 营 </title> 
<Iisbn>9787111487665</isbn> 
<author> 赵 强 ， 邻 伟 伟 ， 任 健 勇 </author> 
<genre> 计 算 机 </genre> 
<price>69</price> 
<publish date>2815-91-01i</publish date> 
<description> 软 件 性 能 测试 领域 具有 突破 性 创新 意义 的 重要 著作 三 位 软件 测试 专家 多 年 一 线 工作 经 验 结 品 业内 多 位 测试 专家 联 被 推荐 基于 
LoadRunner、Apache ab 和 JMeter 等 性 能 测试 工具 </description> 
<pages>428</pages> 
</item> 
<item id="book802"> 
<category> 图 书 </category> 
<tit1le> 有 效 的 单元 测试 </title> 
<isbn>9787111483434</isbn> 
<author>Lasse Koskela</author> 
<genre> 计 算 机 </genre> 
<price>59</price> 
<publish_date>2014-11-61</publish_date> 
<description> 人 敏捷 技术 实践 专家 撰写 ， 系 统 且 深 入 地 阅 酸 单元 测试 用 于 软件 设计 的 工具 、 方 法 、 原 则 和 佳 实践 ; 深入 剖析 各 种 测试 常见 问题 ， 


包含 大 量 实践 案例 ， 可 操作 性 强 ， 能 为 用 户 高 效 编写 测试 提供 系统 实践 指南 </description> 
<pages>200</pages> 
</item> 
</item_list> 





图 2-3 批量 上 传 图 书 的 XML 





网 


以 批量 上 传 图 书信 息 为 例 ， 商 户 通 过 在 XML 里 设置 店铺 的 ID， 商 品 ID、 分 类 、 名 称 、ISBN、 作 者 、 图 书 类 别 、 价 格 、 出 版 日 期 、 简 介 和 图 书页 数 ， 就 可 以 一 次 性 完成 多 本 息 的 上 


传 。 


书 人 














ll 





在 功能 上 线 后 的 一 段 时 间 内 ， 业 务 方 根据 商户 使 用 的 反馈 ， 发 现 需要 对 上 传 XML 的 字段 进行 如 下 修改 。 
. “商品 的 分 类 ”需要 是 枚 举 值 ， 而 不 是 字符 囊 ， 这 样 符合 购物 平台 本 身 对 商品 的 分 类 ， 不 会 造成 映射 错误 的 情况 。 

. 商品 的 “图 片 ”字段 是 必 选 项 ， 可 以 作为 商品 概况 和 搜索 缩 咯 图 显示 的 主 图 ; 如 果 商 户 不 设置 主 图 ， 系 统 默 认 选 用 平台 提供 的 图 片 。 
“ 对 于 外 文书 籍 ， 还 需要 添加 “ 译 者 ”字段 。 


产品 团队 很 快 根据 业务 方 的 反馈 进行 了 代码 的 修改 ， 修 改 后 的 XML 格式 如 图 2-4 所 示 。 





<3xml Version=nd.6n3> 
<shop_id>199901</shop_id> 
<item_ list> 
<item id="book801"> 
<category> 图 书 </category> 


<title>LoadRunner 人 性 能 测试 巧 攻 训 练 营 </title> 

<isbn>9787111487085</isbn> 

<author> 赵 强 ， 刍 伟 伟 ， 任 健 画 </author> 

<genre> 计 算 机 </genre> 

<price>69</price> 

<publish date>2015-81-91</publish_ date> 

<description> 软 件 性 能 测试 领域 具有 突破 性 创新 意义 的 重要 著作 三 位 软件 测试 专家 多 年 一 线 工作 经 验 结晶 业内 多 位 测试 专家 联 缺 推荐 基于 
LoadRunner、Apache ab 和 ]JMeter 等 性 能 测试 工具 </description> 


<lmag6s> 
<master_image> 

<url>www.webtest .com/book801/master_image.jpg</url> 
</master_image> 
<image id="1"> 

<url>www.webtest .com/book801/imagel. jpg</url> 
</image> 
<image id="2"> 

<url>www.webtest .com/book801/image2. jpg</url> 
</image> 


<item id="book802"> 
<category> 图 书 </category> 
<title> 有 效 的 单元 测试 </titlie> 
<isbn>9787111483434</isbn> 


ho n 


<price>59</price> 

<publish_date>2914-11-61</publish_date> 

<description> 敏 捷 技 术 实 践 专家 撰写 ， 系 统 且 深入 地 并 释 单元 测试 用 于 软件 设计 的 工具 、 方 法 、 原 则 和 住 实践 ; 深入 俐 析 各 种 测试 常见 问题 ， 包 含 
大 量 实践 案例 ， 可 操作 性 强 ， 能 为 用 户 高 效 编 写 测 试 提 供 系 统 实 践 指南 </description> 


<limagesS> 
<master_image> 
<url>www.webtest .com/book882/master_image.jpg</url> 
</master_image> 
<image id="1"> 
<url>www .webtest .com/book802/imagei1. jpg</url> 
</image> 
<image id="2"> 
<url>www.webtest .com/book802/image2. jpg</url> 
</image> 
<image id="3"> 
<url>www.webtest .com/book802/image3. jpg</url> 
</image> 
mades> 
</item> 
</item_list> 





图 2-4 ”修改 后 批量 上 传 图 书 的 XML 


对 于 业务 方 反馈 的 第 一 点 枚 举 值 的 问题 ， 产 品 团队 在 代码 中 进行 了 修改 ;而 对 于 第 2 点 中 商户 不 设置 主 图 的 处 理 ， 产 品 团队 同样 只 能 在 代码 中 进行 改动 。 





小 莹 在 XML 修改 前 后 都 使 用 上 传 XML 的 方式 进行 了 测试 ， 没 有 发 现 问题 。 在 完成 相关 功能 测试 后 ， 她 在 执行 探索 性 测试 时 ， 发 现 对 之 前 的 遗留 数据 ， 也 就 是 更 改 XML 和 产品 代码 之 前 的 
商品 页 面 进行 浏览 的 时 候 ， 页 面 会 显示 错误 信息 ， 而 新 上 传 的 商品 却 没有 问题 。 


这 次 功能 修改 只 包含 业务 方 提出 的 3 个 反馈 ， 所 以 小 莹 和 开发 人 员 根据 这 个 思路 寻找 问题 所 在 。 


“ 字符 串 改 成 枚 举 值 ， 如 果 之 前 的 字符 串 不 在 枚 举 值 的 范围 内 ， 就 很 可 能 出 错 。 幸 好 ， 以 前 所 有 的 字符 串 都 在 枚 举 值 内 。 小 葵 还 是 默默 地 被 上 了 一 课 ， 因 为 其 实 她 在 测试 新 的 XML 上 传 
时 ， 并 没有 考虑 到 这 一 点 。 


: 新 增 的 “ 译 者 ”字段 在 之 前 提交 的 商品 数据 里 不 存在 ， 如 果 产 品 代码 未 处 理 “ 译 者 ”字段 没有 值 的 情况 则 会 造成 页 面 错 误 。 还 好 ， 开 发 人 员 在 编写 这 一 部 分 的 产品 代码 时 考虑 到 了 这 一 
点 ， 不 过 这 种 情况 小 蔡 同 样 没有 在 准备 测试 数据 时 考虑 到 。 


“ 对 于 没有 添加 主 图 的 情况 ， 产 品 代码 中 只 对 通过 新 XML 上 传 的 商品 进行 了 处 理 ， 并 没有 考虑 到 在 之 前 提交 的 商品 数据 中 没有 直接 上 传 图 片 ， 所 以 很 可 能 会 出 现 没 有 主 图 的 情况 。 最 后 验 
证 之 后 发 现 正 是 这 个 问题 导致 了 产品 显示 页 面 时 出 错 。 


开发 人 员 很 快 对 这 个 问题 进行 了 修改 和 部 署 ， 小 蔡 根 据 这 次 的 经 验 ， 全 面 地 设计 并 完成 了 各 种 测试 场景 。 


小 莹 通过 这 个 例子 学 到 了 一 点 : 在 功能 上 线 使 用 的 情况 下 ， 如 果 对 功能 涉及 的 数据 字段 有 了 修改 ， 一 定 要 测试 对 遗留 数据 的 处 理 和 兼容 情况 ， 最 好 在 设计 和 编写 代码 时 就 考虑 对 遗留 数据 
进行 数据 迁移 (Data migration) ， 并 为 之 设计 回归 测试 。 


人 @@ 尖 展 则 识 数据 迁移 


数据 迁移 是 指 对 关系 型 数据 库 Schema (模式 ) 的 增加 和 修改 进行 的 数据 管理 。 在 数据 库 Schema 变 更 或 者 转换 到 新 二 旧 的 版 本 时 都 需要 进行 数据 迁移 。 


(1) 数据 迁移 的 方法 

数据 迁移 的 方法 大 致 有 3 种 : 系统 切换 前 通过 工具 迁移 、 系 统 切换 前 采用 手工 录入 或 考 系统 切换 后 通过 新 系统 生成 。 
(2) 数据 迁移 的 策略 

数据 迁移 的 策略 是 指 采用 什么 方式 进行 数据 的 迁移 。 结 合 不 同 的 迁移 方法 ， 主 要 有 一 次 迁移 、 分 次 迁移 、 先 录 后 迁 、 先 迁 后 补 等 几 种 方式 可 供 选择 。 
(3) 数据 迁移 的 实现 

数据 迁移 的 实现 可 以 分 为 3 个 阶段 : 数据 迁移 前 的 准备 、 数 据 迁 移 的 实施 和 数据 迁移 后 的 校 验 。 


对 于 测试 人 员 来 说 ， 更 关注 于 数据 迁移 的 实施 和 数据 迁移 后 的 校 验 。 在 这 一 过 程 中 ， 我 们 需要 先 在 数据 迁移 前 准备 好 具有 代表 性 的 标准 数据 ， 在 迁移 后 ， 不 仅 需要 确保 数据 读 取 正 常 ， 还 
需要 验证 新 数据 ( 旧 数 据 经 过 数据 迁移 和 转换 后 的 ) 是 否 符 合 我 们 的 期 望 。 而 通常 新 旧 数 据 的 数据 量 都 很 大 ， 所 以 我 们 只 能 通过 选取 具有 代表 性 的 样本 进行 测试 的 方法 来 进行 测试 。 同 时 如 果 
我 们 能 对 数据 库 Schema 的 变更 有 系统 性 的 认识 ， 将 会 对 我 们 选取 有 代表 性 的 样本 提供 极 大 便利 。 


2.4 ”基础 代码 的 改动 影响 到 了 其 他 相关 产品 ， 造 成 程序 出 错 








小 莹 所 在 的 项 目 组 收 到 代理 商 a 和 代理 商 c 的 投诉 : 最 近 的 一 次 版 本 上 线 后 ， 这 些 代理 商 的 官网 持续 崩溃 无 法 访问 。 现 已 将 新 版 本 回 退 ， 等 待 解决 问题 后 重新 上 线 。 另 外 一 家 代理 商 b 并 没 
有 反馈 说 碰 到 这 个 问题 。 





收 到 投诉 后 ， 小 蔡 第 一 时 间 想到 的 就 是 尝试 在 生产 环境 中 复 现 问题 。 然 而 经 过 多 次 尝试 ， 她 并 没有 能 够 复 现 出 问题 来 ， 测 试 环 境 中 一 切 正常。 





既然 测试 环境 中 不 能 重 现 出 来 ， 那 我 们 就 只 有 通过 查看 日 志 定位 问题 了 。 人 小花 找 运 维 同事 拿 到 生产 环境 监控 日 志 ， 发 现 日 志 内 容 的 异常 提示 信息 为 : 找 不 到 文件 “在 线 聊 天 xxx.……” 。 





从 日 志 信 息 上 看 ， 这 个 异常 内 容 跟前 几 天 代理 商 b 提 出 来 的 定制 需求 “在 官网 上 增加 一 个 在 线 咨询 客服 的 功能 ”有 关系 。 可 是 这 个 需求 只 是 代理 商 b 提 出 来 的 ， 代 理 商 a3 和 < 又 不 会 去 用 ， 
怎么 会 在 他 们 的 网 站 上 也 报 这 样 的 错误 呢 ? 


小 葵 一 拍 脑门 ， 回 想起 公司 使 用 的 是 同一 套 基础 代码 + 不 同 代理 商定 制 化 的 方式 来 制作 和 运营 网 站 ( 见 图 2-5) 。 








代理 商 a 官网 









产品 基础 代码 代理 商 b 官网 





代理 商 c 官网 


图 2-5 产品 代码 结构 


类 似 于 面向 对 象 三 大 特性 中 继承 的 概念 ， 该 产品 使 用 一 套 基础 代码 作为 父 网 站 ， 子 网 站 只 需要 实现 一 些 特定 的 需求 。 这 使 得 产品 在 做 一 些 公共 功能 的 更 新 时 可 以 做 到 “一 次 修改 ， 共 同 利 
用 ”的 效果 ， 极 大 减少 了 开发 的 工作 量 。 


从 这 个 特点 来 看 ， 如 果 三 个 代理 商 子 网 站 都 出 现 了 相同 的 功能 ， 那 么 很 可 能 是 开发 人 员 把 代理 商 b 的 需求 写 到 了 父 网 站 中 ， 然 后 所 有 的 子 网 站 都 继承 了 这 个 特性 。 


按照 这 个 思路 想 下 去 ， 小 蔡 找 到 开发 人 员 以 查看 代码 ， 发 现 问题 的 原因 果然 如 此 : 开发 人 员 在 开发 这 个 功能 的 时 候 因为 考虑 到 将 来 代理 商 a 和 c 都 可 能 提出 相同 的 需求 ， 所 以 就 把 这 个 功能 
的 代码 写 到 了 父 网 站 中 ， 并 且 没有 加 上 控制 器 来 控制 这 个 功能 只 会 出 现在 代理 商 b 的 网 站 上 。 








同时 小 蔡 也 总 结 了 下 ， 之 所 以 把 这 个 Bug 流 出 到 生产 环境 ， 第 一 是 测试 策略 中 测试 环境 搭建 的 标准 不 对 ， 应 该 和 生产 环境 保持 一 致 ， 每 次 发 布 基础 代码 后 对 三 个 代理 商 官网 都 进行 部 署 ; 
第 二 是 没有 对 代理 商 a 和 < 的 官网 做 回归 测试 ， 测 试 覆盖 率 不 够 。 








改进 这 两 点 的 同时 ， 小 蔡 建 议 开发 人 员 对 为 代理 商 b 开 发 的 在 线 咨 询 客服 功能 增加 特性 开关 (feature toggle) []， 并 且 默 认为 关闭 状态 。 这 样 默认 情况 下 ，a、b、< 三 个 代理 商都 看 不 到 
该 功能 模块 ， 但 是 代理 商 b 可 以 通过 修改 开关 状态 后 使 用 该 功能 模块 ， 如 果 以 后 其 他 两 个 代理 商 也 想 使 用 这 个 功能 ， 直 接 打 开 这 个 开关 就 可 以 了 。 


@ 术 #0 特性 开关 


特性 开关 是 一 种 通过 在 配置 文件 定义 开关 来 控制 产品 功能 的 方法 ， 通 常会 伴随 着 持续 部 署 进行 使 用 。 通 过 修改 配置 文件 中 的 toggle (打开 或 关闭 ) 来 操作 代码 的 发 布 ， 但 是 功能 对 客户 不 
可 见 ; 也 可 以 使 上 线 的 功能 对 特定 少量 用 户 开放 ， 一 旦 线 上 出 现 问 题 ， 则 可 以 通过 配置 文件 迅速 关闭 此 功能 ， 而 不 用 回 退 版 本 。 特 性 开关 工作 示意 图 如 图 2-6 所 示 。 


petSurvey: true pet survey 


UI definition BS td 


<toggle name = 
"petDurvey"> running program 


code for pending 


featrue... </toggle> 一 > 


petSurvey: false 





petSurvey: 


true/false Config file 





图 2-6 ”特性 开关 工作 示意 图 


敏捷 开发 模式 中 ， 故 事 卡 的 开发 时 长 要 求 : 最 长 也 需要 在 一 个 选 代 中 完成 。 而 特性 开关 保证 了 如 果 出 现 特殊 情况 时 ， 代 码 仍旧 可 以 持续 集成 ， 而 不 是 来 之 高 头 ， 避 免 在 后 期 合并 代码 时 出 
现 集成 问题 。 特 性 开关 同时 可 以 保证 各 种 小 的 功能 模块 很 方便 地 插 拔 ， 这 对 同一 产品 适用 多 个 市 场 也 很 有 好 处 。 


不 过 在 使 用 特性 开关 时 需要 注意 一 点 ， 就 是 一 昱 某 个 特性 长 期 上 线 就 需要 把 它 的 featute toggle 从 配置 表 里 删 除 ， 从 而 维护 真正 需要 控制 的 特性 。 对 测试 而 言 ， 我 们 不 仅 需 要 测试 特性 开关 
打开 和 关闭 时 产品 的 功能 ， 还 需要 了 解 特 性 之 间 的 相互 关系 ， 从 而 有 效 地 进行 测试 ， 而 不 是 盲目 地 进行 全 窗 盖 测试 。 


四 特性 开关 ， 见 下 文 “ 核 心 知识 点 ”。 


2.5 “异常 场景 处 理 不 全 面 导 致 功能 缺陷 











很 多 测试 人 员 在 面试 时 会 被 问 到 如 何 针对 特定 产品 测试 ， 需 要 考虑 哪些 方面 时 ， 思 路 都 会 从 两 方面 发 散 : 正常 场景 、 非 正常 /异常 场景 开始 回答 。 从 思维 模式 来 说， 测试 人 员 就 不 同 于 开 
发 人 员 比 较 习 惯 的 正 向 思维 ， 而 是 更 多 地 从 异常 场景 、 用 户 场景 等 出 发 ， 全 面 地 考虑 使 用 产品 时 会 出 现 的 各 种 可 能 性 ， 并 通过 给 这 些 场景 分 配 优先 级 来 指导 测试 的 执行 。 

















但 是 测试 人 员 并 不 是 无 所 不 能 的 ， 有 很 多 异常 场景 光 了 解 功能 性 需求 是 不 够 的 ， 还 需要 了 解 一 些 架构 与 部 署 等 非 功能 性 需求 。 所 以 在 设计 测试 场景 ， 尤 其 是 异常 的 测试 场景 时 ， 很 容易 遗 
漏 非 功能 性 异常 场景 。 小 蔡 最 近 就 遗漏 了 一 个 关乎 用 户 体验 的 异常 测试 场景 。 




















产品 在 用 户 账户 设置 页 面 提供 了 收 货 地 址 管理 的 功能 ， 用 户 可 以 增删 改 查 自己 的 收 货 信 息 ( 见 图 2-7) 。 不 过 最 近 用 户 经 常 反映 会 有 自己 保存 信息 之 后 ， 下 次 打开 信息 丢失 的 情况 。 











收 货 地 址 


新 增收 货 地 址 ”电话 号 码 、 手 机 号 选 填 一 项 ,其 余 均 为 必 填 项 


所 在 地 区 。| 中 国 大 陆 “| | 请 移 择 省 市 区 





详细 地 址 * 例如 街道 名 称 ， 门 牌号 码 ， 楼 层 和 房间 号 


邮政 编码 | 如 您 不 清楚 邮递 区 号 ， 请 填写 000000 
收 货 人 姓名 * 长度 不 起 过 25 个 字符 
手机 号 码 | 中 国 大 陆 +86 $|| 电话 号 码 、 手 机 号 码 必须 读 一 项 





口 设置 为 默认 收 货 地 址 


已 保存 了 20 条 地 址 ， 还 能 保存 0 条 地 址 


收 货 人 ”所 在 地 区 详细 地 址 邮编 电话 /手机 


陕西 省 榆林 市 榆 阳 区 榆 ”陕西 省 榆林 市 榆 阳 区 


719000 ”86-13”… “13 
阳 镇 


陕西 省 西安 市 历 塔 区 丈 陕西 省 西安 市 高 新 区 科技 一 路 


710075 86-13*™"*****50 
八 沟 街道 





图 2-7” 收 货 地 址 的 增删 改 查 


小 蔡 在 测试 环境 重 现 这 个 问题 时 ， 发 现 无 论 如 何 都 重 现 不 了 。 所 以 她 经 过 申请 ， 拿 到 了 生产 环境 上 的 测试 账号 ， 尝 试 在 真实 环境 中 重 现 这 个 问题 。 











然而 即便 使 用 了 生产 环境 ， 小 莹 依然 不 能 百分之百 地 重 现 这 个 问题 ， 对 收 货 地 址 的 增删 改 查 ， 只 是 有 时 能 重 现 这 个 问题 。 








小 莹 觉得 这 个 问题 和 之 前 遇 到 的 问题 比较 类 似 ， 表 象 是 环境 不 同 造成 的 ， 但 实际 上 还 是 程序 处 理 得 有 问题 。 现 在 只 有 沿 着 环境 不 同 这 条 线索 继续 排查 。 





和 开发 以 及 运 维 人 员 沟 通 了 之 后 ， 运 维 人 员 告 诉 小 莹 最 近 发 现 有 一 台 负 责 网 站 流量 负载 均衡 的 分 发 服务 器 ( 见 图 2-8) 不 定时 地 会 出 现 问题 ， 转 发 的 请 求 有 时 会 丢 包 ， 他 们 也 在 排查 原 
因 ， 不 知道 是 不 是 和 这 个 问题 有 关系 。 














Final user Load balanc 


上 二 serverl 
“二 


server2 


图 2-8 负载 均衡 的 服务 器 拓扑 结构 





开发 人 员 根据 运 维 人 员 提 供 的 信息 ， 在 日 志 中 查看 到 确实 如 此 ， 用 户 在 保存 信息 时 ， 虽 然 在 前 台 看 到 信息 已 经 被 保存 并 且 刷 新 了 ， 但 是 由 于 发 送 的 请 求 超时 ， 后 台 服 务 器 已 经 报错 并 记录 
在 日 志 中 了 ， 不 过 后 台 并 没有 重新 提交 的 机 制 ， 所 以 导致 这 一 部 分 的 信息 丢失 了 。 








这 个 问题 时 不 时 会 出 现 ， 确 实 是 由 于 负载 均衡 的 服务 器 转发 请 求 导致 的 ， 从 日 志 里 也 能 印证 这 一 点 。 





一 切 正常 的 情况 下 ， 也 是 大 多 数 情况 下 产品 代码 对 用 户 收 货 地 址 的 增删 改 查 都 不 会 出 现 问题 ， 但 是 在 网 络 环境 不 好 等 异常 情况 出 现时 ， 代 码 的 处 理 就 导致 了 功能 缺陷 的 产生 。 














小 蒙 和 开发 及 运 维 人 员 讨论 到 ， 虽 然 不 希望 产品 代码 是 通过 过 度 的 防御 式 编程 的 模式 编写 出 来 的 ， 但 是 对 于 异常 场景 的 处 理 ， 尤 其 是 前 后 台 服 务 器 之 间 的 信息 传递 ， 需 要 更 全 面 的 覆盖 。 


就 拿 现 在 这 个 特定 的 问题 来 说， 解决 方案 是 首先 解决 负载 均衡 服务 器 转发 超时 的 问题 ， 此 外 还 需要 在 产品 代码 相应 的 处 理 逻 辑 中 添加 请 求 超时 重新 提交 的 功能 。 





镶 芒 知识 @O 负载 均衡 


负载 均衡 〈load balancing) 是 用 来 在 多 台 服 务 器 (集群 ) 、 网 络 连 接 、CPU、 磁 盘 驱 动 器 或 其 他 资源 中 分 配 负载 ， 以 达到 最 佳 化 资源 使 用 、 最 大 化 吞吐 率 、 最 小 化 响应 时 间 ， 同 时 避免 过 
载 的 目的 技术 手段 。 从 本 质 上 来 说 ， 负 载 均衡 也 是 一 种 程序 代码 。 


负载 均衡 最 重要 的 一 个 应 用 是 利用 多 台 服 务 器 提供 单一 服务 ， 这 种 服务 可 以 是 Web 网 站 的 服务 ， 也 有 可 能 是 数据 库 的 服务 ， 甚 至 是 DNS 服务 。 


以 Web 网 站 的 服务 为 例 ， 负 载 均衡 会 把 来 自 于 用 户 的 请 求 分 发 到 后 台 的 服务 器 ， 从 而 保证 用 户 请 求 最 及 时 地 得 到 响应 ， 同 时 各 人 台 服务 器 的 压力 均衡 。 负 载 均 衡 的 另 一 个 好 处 是 对 用 户 屏蔽 
了 后 台 服 务 器 的 〈 拓 扑 ) 结构 ， 这 样 即使 当 有 一 部 分 后 台 服务 器 出 现 异常 的 情况 下 ， 其 他 工作 正常 的 服务 器 仍旧 可 以 为 用 户 提供 正常 的 服务 。 虽 然 通常 响应 时 间 会 变 长 ， 但 这 样 大 大 提高 了 网 
站 的 健壮 性 和 容错 能 力 。 


下 面 来 看 看 一 般 用 户 最 常见 的 使 用 代理 服务 器 达到 负载 均衡 的 机 制 : 


当 用 户 请 求 服务 器 资源 时 ， 请 求 并 不 会 直接 发 送 给 服务 器 ， 而 是 先 发 送 到 代理 服务 器 ， 再 通过 代理 服务 器 发 送 给 真实 的 响应 服务 器 ; 返回 时 也 是 通过 同样 的 方式 ， 用 户 最 终 从 代理 服务 器 
拿 到 真实 的 响应 服务 器 上 的 资源 。 这 么 做 的 好 处 是 ， 代 理 服务 器 可 以 把 返回 的 资源 缓存 下 来 ， 这 样 当 新 的 用 户 请 求 到 达 代理 服务 器 时 ， 代 理 服务 器 可 以 判断 是 否 已 经 请 求 过 相应 的 资源 ， 如 果 
资源 存在 ， 那 么 直接 返回 代理 服务 器 缓存 的 资源 ， 这 样 能 大 大 提升 响应 速度 ; 而 如 果 没有 请 求 过 这 个 资源 ， 则 把 这 个 请 求 发 送 给 真实 的 响应 服务 器 ， 从 而 获取 并 缓存 新 的 资源 。 很 多 大 公司 为 
了 提升 网 络 访问 速度 ， 都 在 内 网 搭建 了 这 样 的 代理 服务 器 ， 当 然 规 则 比 我 们 描述 的 要 更 具体 。 


个 攻 知识 @。 防御 式 编程 


防御 式 编程 的 核心 思想 是 认为 所 有 程序 都 会 有 问题 ， 所 以 对 于 外 部 输入 和 依赖 ， 都 采取 不 可 信 的 态度 ， 在 自身 代码 中 针对 外 部 条 件 可 能 出 现 的 各 种 问题 ( 绝 大 部 分 都 是 异常 场景 ) 进行 处 
理 ， 从 而 保证 产品 自身 的 健壮 性 和 稳定 性 。 


防御 式 编程 要 求 程序 员 应 该 自始至终 考虑 各 种 各 样 的 错误 处 理 机 制 : 在 局 部 处 理 错误 、 使 用 错误 码 来 传递 错误 、 在 日 志文 件 中 记录 调试 信息 、 关 闭 系 统 或 其 他 一 些 方式 等 。 


但 是 过 度 的 防御 式 编程 也 会 引起 问题 。 因 为 就 如 同 防御 式 编程 所 认为 的 那样 : 所 有 的 代码 /程序 都 不 可 能 是 完美 的 ， 那 么 应 用 防御 式 编程 所 编写 的 代码 也 是 一 样 。 试 图 通过 防御 式 编程 做 
到 完美 代码 是 不 现实 的 ， 而 且 付 出 的 成 本 时间、 人员、 资源 、 代 码 复杂 度 ) 根据 二 八 原则 也 是 不 可 接受 的 ， 尤 其 是 我 们 所 面 对 的 程序 绝 大 多 数 是 非 航空 航天 类 的 民用 产品 。 


所 以 如 何 明智 地 使 用 防御 式 编程 在 易 错 和 关键 环节 添加 基于 业务 价值 或 者 业务 风险 的 代码 ， 就 成 为 了 软件 开发 过 程 中 的 一 个 难题 。 


6 展 #tiR 非 功能 性 需求 





我 们 在 软件 开发 过 程 中 ， 最 常见 的 是 针对 产品 需要 具备 菜 一 功能 ， 从 而 为 用 户 提供 对 应 的 业务 (价值 ) 。 因 为 这 些 需求 和 功能 模块 实现 强 相 关 ， 所 以 我 们 称 之 为 功能 性 需求 。 而 与 之 对 应 
的 是 和 功能 模块 实现 弱 相 关 的 非 功 能 性 需求 ， 通 常 这 些 需求 会 被 用 来 衡量 产品 运作 的 状态 ， 例 如 产品 的 安全 性 、 性 能 、 稳 定性 、 用 户 体验 等 。 


可 以 看 出 功能 性 需求 和 非 功 能 性 需求 关注 的 纬度 不 同 ， 而 且 非 功能 性 需求 通常 着 眼 的 角度 会 是 针对 整个 产品 ， 而 非特 定 功能 模块 。 一 般 来 说 非 功 能 性 需求 要 求 至 少 某 一 功能 模块 的 代码 稳 
定之 后 才 会 执行 对 应 的 测试 。 


2.6 ”时 区 不 一 致 造成 邮件 发 送 寞 党 








小 莹 一 直 对 产品 的 后 台 系 统 测试 比较 感 兴趣 ， 但 是 自己 并 没有 这 方面 的 测试 经 验 ， 所 以 一 直 不 敢 向 老 牛 提出 自己 想 去 测试 后 台 系统 的 想法 。 她 虽然 没有 明说 ， 但 是 老 牛 却 看 在 眼 里 。 刚 I5 
最 近 产 品 新 增 了 根据 用 户 收藏 的 商品 ， 定 期 向 用 户 发 送 邮件 的 功能 。 老 牛 就 指派 小 莹 去 做 新 功能 的 测试 ， 也 借 这 个 机 会 锻炼 一 下 她 。 





























小 莹 首先 根据 自己 的 经 验 设计 了 正 向 测试 用 例 。 





1) 在 用 户 收藏 商品 之 后 ， 当 达到 指定 条 件 ， 系 统 会 向 用 户 发 送 邮件 。 


2) 她 还 设计 了 逆向 测试 用 例 ， 包 括 邮件 系统 本 身 出 错时 的 一 些 场景 ， 例 如 : 





“ 用 户 取消 收藏 商品 后 ， 即 使 达到 指定 条 件 ， 用 户 也 不 会 收 到 邮件 ; 
“ 用 户 收藏 了 商品 ， 但 是 没有 达到 指定 条 件 ， 用 户 也 不 会 收 到 邮件 ; 


“ 当 邮 件 系统 在 发 送 邮 件 时 出 错 ， 已 发 送 的 邮件 不 会 重复 发 送 ， 未 发 送 的 邮件 会 再 次 尝试 发 送 。 





小 莹 觉得 自己 这 次 设计 的 测试 用 例 很 全 面 ， 应 该 会 得 到 老 牛 的 表扬 ， 就 带 着 这 些 测试 用 例 去 找 老 牛 确认 。 














老 牛 首先 表扬 了 小 蔡 思 考 的 全 面 性 ， 也 夸奖 了 她 这 段 时 间 的 成 长 。 此 外 ， 他 告诉 小 蔡 还 可 以 从 邮件 发 送 的 机 制 本 身 考虑 是 否 存在 测试 点 : 发 送 邮件 的 脚本 会 每 天 定时 从 数据 库 里 找到 需要 
在 当天 发 送 的 数据 ， 然 后 根据 指定 的 邮件 格式 进行 发 送 ， 并 在 发 送 结束 后 在 数据 库 里 进行 标记 。 这 里 面 是 否 会 存在 问题 呢 ? 











小 莹 马上 想到 可 以 使 用 之 前 学 到 的 5 个 Why 的 方式 进行 追根 溯源 。 
:第 1 个 Why: 脚本 是 如 何 确定 判断 哪些 数据 是 需要 “当天 ”发 送 的 呢 ? 原来 是 通过 脚本 自身 执行 的 时 间 以 及 数据 库 里 数据 的 时 间 字 段 。 


“ 第 2 个 Why: 脚本 自身 执行 的 时 间 和 数据 库 里 数据 的 时 间 字 段 都 来 自 哪里 呢 ? 脚本 执行 的 时 间 是 根据 执行 脚本 的 服务 器 时 间 确 定 的 ， 数 据 的 时 间 字 段 是 用 户 收 藏 时 前 台 服 务 器 存储 到 数 
据 库 的 。 


第 3 个 Why: 这 两 个 时 间 有 可 能 不 一 致 吗 ? 之 前 听 开 发 人 员 说 ， 前 台 服务 器 为 了 确保 各 国 用 户 的 体验 ， 使 用 的 是 世界 标准 时 间 UTC， 但 是 不 清楚 执行 脚本 的 服务 器 设置 的 是 什么 时 区 。 
“ 第 4 个 Why: 在 数据 库 里 标记 邮件 已 发 送 是 以 哪 台 服务 器 的 时 间 做 标准 呢 ? 之 前 数据 库 服务 器 为 了 配合 前 台 程 序 设 定 的 也 是 UTC。 
“ 第 5 个 Why: 那 会 不 会 脚本 运行 的 时 间 和 数据 库 服务 器 的 时 间 存 在 差别 ， 从 而 导致 邮件 发 送 异 常 呢 ? 


带 着 疑问 ， 小 蔡 登 录 到 | 执行 邮件 脚本 的 服务 器 ， 通 过 使 用 Linux 的 date 命 令 ， 发 现 服务 器 使 用 的 是 中 国标 准时 间 CST (UTC+8) ， 和 UTC 可 是 差 着 8 小 时 啊 ! 











在 脚本 执行 时 ， 那 些 UTC ~ UTC+8 时 间 之 内 的 数据 都 会 被 忽略 ， 这 些 邮件 用 户 当天 接收 不 到 ， 但 是 在 数据 库存 储 发 送 标 记 的 时 候 ， 却 会 把 这 些 数 据 标记 成 已 发 送 ， 从 而 导致 用 户 永远 接 
收 不 到 这 些 邮 件 。 








小 莹 马上 把 这 一 发 现汇 报 给 者 牛 ， 老 牛 很 认可 她 的 这 一 发 现 ， 并 带 着 这 个 问题 和 开发 人 员 以 及 项 目 经 理 进 行 协调 ， 最 后 决定 修改 执行 邮件 脚本 的 服务 器 的 时 区 设置 。 而 为 了 避免 以 后 出 现 
类 似 问题 ， 通 用 的 服务 器 配置 脚本 里 ， 也 会 增加 对 于 时 区 的 统一 设置 。 




















此 外 小 蔡 还 了 解 到 ， 有 些 国家 和 地 区 的 时 区 有 DST (Daylight Saving Time， 也 就 是 俗称 的 夏令 时 ) ， 而 如 果 产 品 代码 和 某 些 特定 时 间 相 关 ， 例 如 用 户 设置 早上 9 点 接收 邮件 报告 等 ， 就 
需要 考虑 到 DST。 还 有 如 果 某 些 国家 或 地 区 修改 了 自己 的 默认 时 区 ， 比 如 时 常 变换 时 区 的 委内瑞拉 ， 也 是 需要 及 时 把 修改 后 的 时 区 反映 到 产品 中 的 。 























议 必 知 识 正面 测 江 和 负面 测 斌 


正 向 测试 是 按照 功能 描述 ， 测 试 系统 是 否 完成 了 相应 的 功能 ; 而 逆向 测试 是 测试 系统 不 应 该 执行 不 该 完成 的 功能 或 者 出 现 异 常 。 通 常 来 说 正 向 测试 的 范围 和 用 例 是 很 好 设计 的 ， 因 为 只 要 
按照 功能 描述 转换 成 测试 用 例 就 可 以 了 ， 但 是 逆向 测试 需要 测试 人 员 结合 自 己 的 测试 经 验 和 测试 理论 ， 扩 散 出 各 种 异常 场景 。 同 时 逆向 测试 还 需要 关注 各 种 提示 信息 ， 包 括 各 种 输入 的 限制 条 
件 和 出 错时 的 提示 等 。 





通常 进行 北向 测试 设计 时 我 们 会 考虑 以 下 方面 。 

1) 特殊 字符 。 尤 其 是 单 引 号 这 种 字符 ， 有 可 能 造成 SQL 注入 。 

2) 必 填 项 的 验证 。 如 果 必 填 项 不 填写 ， 是 否 能 够 成 功 提交 ， 以 及 是 否 会 出 现 错误 提示 。 

3) 字段 类 型 的 测试 。 例 如 针对 日 期 格式 ， 如 果 输入 格式 不 正确 程序 如 何 处 理 ; 如 果 只 能 输入 正 整数 ， 那 么 输入 0、 负 数 或 者 非常 大 的 整数 以 及 小 数 ， 程 序 如 何 处 理 。 


4) 字段 长 度 的 测试 。 例 如 ， 限 制 输入 100 个 字符 ， 能 否 通 过 复制 等 手段 输入 超过 100 个 字符 。 


5) 边界 值 的 测试 。 例 如 ， 只 允许 输入 100 以 内 的 整数 ， 那 么 输入 99、100 和 101 都 应 该 出 现 什么 现象 ， 都 需要 测试 。 
6) 对 于 提交 等 功能 ， 如 果 快 速 点 击 是 否 会 出 现 多 次 提交 。 


一 般 测试 人 员 随 着 自己 的 经 验 增长 ， 都 会 形成 自己 的 一 套 测 试 方法 ， 也 就 是 这 种 使 用 逆向 测试 思维 的 检查 列表 。 


食 后 展 知识 @ 协调 世界 时 UTC 





协调 世界 时 ( 英 : Cootdinated Universal Time， 法 : Temps Universel Coordonné) ,又 称 世界 统一 时 间 ， 世 界 标准 时 间 ， 国 际 协调 时 间 。 英 文 (CUT) 和 法 文 (TUC) 的 缩写 不 同 ， 作 为 妥 
协 ， 简 称 UTC。 


由 于 采用 统一 的 计时 方式 ， 便 于 世界 各 地 区 协调 和 转换 时 间 ， 所 以 这 套 时 间 系 统 成 为 了 全 世界 应 用 最 广泛 的 计时 标准 ， 尤 其 通用 于 各 种 互联 网 标准 中 。 


从 具体 使 用 来 说 ， 如 果 本 地 时 间 比 UTC 时 间 快 ， 例 如 中 国 、 蒙 古国 、 新 加 坡 、 马 来 西亚 、 菲 律 宾 、 澳 大 利 亚 西 部 的 时 间 比 UTC 快 8 小 时 ， 就 会 写作 UTC+8， 俗 称 东 8 区 。 相 反 ， 如 果 本 地 时 
间 比 UTC 时 间 慢 ， 例 如 夏威夷 的 时 间 比 UTC 时 间 慢 10 小 时 ， 就 会 写作 UTC-10， 俗 称 西 10 区 。 所 以 当 UTC+8 的 时 间 是 上 午 9 点 的 时 候 ，UTC 时 间 是 凌晨 1 点 ， 而 UTC-10 的 时 间 是 前 一 天 下 午 3 点 。 


人 @iRniRe NH 区 





“ 在 Windows 中 通过 图 形 界面 查询 当前 时 区 : 在 系统 托盘 的 时 间 上 选择 “更 改 日 期 和 时 间 设 置 ”， 在 “日 期 和 时 间 ” 标 签 中 查看 时 区 。 
“ 在 Windows 中 通过 命令 行 CMD 查 询 当 前 时 区 : 使 用 命令 tzutil/g。 
“ 在 诸如 Ubuntu 等 Linux 中 通过 Bash 查 询 当 前 时 区 : 使 用 命令 timedatectl。 


“在 Mac 有 系统 中 通过 Bash 查 询 当 前 时 区 : systemsetup - gettimezone。 


2.7 多 入 口 功能 的 特殊 处 理 造成 的 Bug 





小 莹 负责 测试 的 登录 功能 在 多 个 页 面 都 有 入 口 ， 不 仅 在 项 目 主页 和 产品 展示 页 面 能 打开 登录 页 面 ， 而 且 通 过 购物 车 等 页 面 也 能 打开 弹出 式 登录 对 话 框 ( 见 图 2-9) 。 





一 一 会 员 会 员 立即 
999 元 抢 笔 记 本 ~ rrr ee 
| 全 高 全 1957100 





图 2-9 登录 功能 的 多 个 入 口 











由 于 登录 功能 关乎 用 户 的 隐私 信息 ， 所 以 小 蔡 设 计 了 丰富 的 测试 用 例 ， 涵 盖 了 从 功能 到 性 能 再 到 安全 的 各 种 测试 。 不 过 要 是 每 个 页 面 上 的 登录 功能 都 执行 这 么 详尽 的 测试 用 例 ， 那 花费 的 
时 间 就 会 远 远 超出 允许 的 范围 。 

















小 莹 只 好 去 找 老 牛 寻求 建议 ， 老 牛 告诉 她 : 我 们 知道 100% 的 测试 覆盖 是 做 不 到 的 ， 不 仅 对 于 整个 项 目 来 说 做 不 到 ， 对 于 某 个 功能 模块 其 实 也 是 一 样 的 。 同 时 我 们 可 以 看 到 虽然 登录 功能 
的 显示 方式 不 一 样 ， 但 是 实际 的 功能 和 后 台 的 代码 都 是 一 样 的 。 而 且 小 蔡 询 问 过 开发 人 员 后 ， 也 证 实 了 这 一 点 。 

















那么 对 于 登录 功能 的 共用 部 分 ， 只 需要 执行 一 次 全 面 的 测试 就 可 以 了 。 老 牛 同时 也 提醒 小 蔡 要 从 业务 角度 出 发 ， 了 解 不 同 页 面 登录 之 后 ， 业 务 上 是 如 何 要 求 其 对 应 显示 的 内 容 的 。 


























小 莹 按照 者 牛 的 思路 ， 发 现 虽 然 登 录 功 能 分 布 在 不 同 页 面 上 ， 但 功能 上 都 是 一 样 的 。 不 过 如 果 从 业务 角度 出 发 ， 用 户 登 录 后 是 需要 回 到 登录 前 的 页 面 的 ， 同 时 会 刷新 页 面 的 内 容 ， 例 如 购 
物 车 这 个 页 面 ， 登 录 后 需要 展示 出 用 户 购 物 车 内 的 相关 信息 。 





可 


























小 莹 对 主页 上 的 登录 功能 进行 详尽 的 测试 之 后 ， 接 着 对 其 他 不 同类 型 页 面 的 登录 功能 也 做 了 测试 ， 果 真 还 发 现 了 一 个 登录 后 页 面 显示 的 错误 : 点 击 “ 我 的 订单 ”页 面 进行 登录 后 ， 展 示 给 
用 户 的 页 面 本 应 该 是 订单 的 详细 列表 ， 但 实际 上 居然 跳 转 到 产品 主页 面 上 了 。 





同样 对 于 登 出 的 功能 ( 见 图 2-10) ， 小 莹 也 设计 了 类 似 的 测试 场景 。 
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图 2-10” 登 出 功能 的 多 个 入 口 





不 同 于 登录 功能 的 是 ， 登 出 功能 基本 会 要 求 在 登 出 后 显示 主页 ， 所 以 这 也 是 小 蔡 的 测试 场景 之 一 。 


小 莹 通过 对 登录 和 登 出 的 测试 ， 总 结 出 对 于 功能 的 测试 ， 不 仅 需 要 从 技术 角度 衡量 同一 功能 的 多 个 入 口 是 否 使 用 了 同一 套 后 台 代码 实现 机 制 ， 以 判断 是 否 所 有 入口 都 需要 进行 测试 覆盖 ， 
此 外 还 要 结合 业务 角度 去 分 析 该 功能 所 属 的 业务 流程 是 否 正 确 ， 最 终 分 析 和 设计 出 对 应 的 测试 用 例 来 。 


人 后 展 和 代码 重用 





代码 重用 ， 也 称 作 代 码 复 用 ， 通 常 是 用 已 经 编写 好 的 代码 ， 再 次 实现 新 的 功能 的 方法 。 当 然 还 有 一 种 方式 是 发 现 两 个 或 者 多 个 功能 的 代码 实现 是 一 致 的 或 者 很 相似 ， 就 把 通用 的 代码 抽取 
(absttact) 出 来 ， 从 而 达到 代码 重用 的 目的 。 


代码 重用 的 目的 在 于 提高 效率 ， 这 里 指 的 效率 不 仅 是 开发 的 效率 ， 还 有 维护 的 效率 ， 所 以 我 们 可 以 看 到 代码 重用 有 以 上 两 种 形式 。 虽 然 说 复制 粘贴 一 段 代码 也 算是 菜 种 程度 上 的 “ 重 
用 ”， 但 是 由 于 这 种 方式 并 不 能 提高 维护 效率 ， 反 而 增加 了 维护 的 成 本 ， 所 以 并 不 是 真正 的 代码 重用 。 


代码 重用 需要 重用 的 代码 明确 定义 好 输入 和 输出 ， 自 身 实现 模块 化 ， 达 到 高 内 聚 、 低 耦合 ， 实 现 数据 封装 。 这 样 才能 使 重用 的 成 本 更 小 ， 而 不 是 每 次 重用 反而 要 写 很 多 代码 才能 使 用 起 
来 。 


代码 重用 的 形式 有 : 程序 库 / 类 库 ， 设 计 模式 和 应 用 框架 。 
(1) 程序 库 /类 库 


程序 库 / 类 库 是 最 常见 的 代码 复 用 形式 。 因 为 在 代码 中 ， 例 如 文件 的 读 / 写 ， 数 据 库 的 操作 和 用 户 鉴 权 的 操作 都 是 通用 的 方法 ， 一 般 都 会 被 封装 在 程序 库 / 类 库 中 ， 以 便 所 有 开发 人 员 都 可 
以 方便 地 使 用 。 使 用 程序 库 / 类 库 中 的 一 大 优点 就 是 测试 人 员 可 以 对 它 所 提供 的 操作 经 过 充分 测试 ， 保 证 其 质量 ， 但 是 缺点 是 开发 人 员 无 法 对 程序 库 / 类 库 提 供 的 操作 的 具体 实现 进行 调整 ， 同 
时 程序 库 / 类 库 也 要 求 开 发 人 员 花 时 间 去 学 习 它 的 用 法 。 


(2) 设计 模式 


设计 模式 对 同类 问题 提供 了 通用 的 解决 方法 ， 所 以 设计 模式 也 算是 广义 上 的 重用 。 由 于 设计 模式 所 提供 的 是 概念 上 的 解决 方法 ， 对 于 具体 问题 往往 还 需要 进一步 实现 代码 。 利 用 抽象 类 或 
接口 往往 可 以 在 特定 的 设计 模式 中 达到 代码 的 重用 。 


(3) 应 用 框架 


开发 人 员 还 可 以 通过 第 三 方 的 应 用 程序 或 者 框架 来 实现 对 一 个 程序 的 大 范围 复 用 ， 这 可 以 有 效 地 提高 生产 效率 。 但 缺点 在 于 第 三 方 的 应 用 程序 或 者 框架 往往 只 在 某 个 特定 的 应 用 范围 内 才 
可 以 适用 。 


2.8 小 结 





本 章 我 们 了 解 了 如 何 通过 测试 覆盖 尽 可 能 避免 问题 的 出 现 ， 下 一 章 我 们 将 介绍 测试 实践 在 预防 缺陷 中 可 以 起 到 什么 作用 。 


第 3 章 ”功能 测试 : 测试 实践 篇 


前 两 章 我 们 介绍 了 在 功能 测试 中 使 用 特定 的 开发 和 测试 技术 手段 如 何 避 免 问 题 ， 那 除 此 之 外 还 有 没有 什么 别 的 方式 可 以 同样 起 到 预防 作用 呢 ? 





答案 是 肯定 的 ， 例 如 本 章 我 们 介绍 的 通过 引入 某 些 测试 实践 来 避免 和 预防 Bug。 现 在 让 我 们 一 起 来 看 看 这 些 故事 吧 。 


3.1 ”修改 充值 金额 范围 遗漏 的 产品 Bug 





产品 中 有 一 个 允许 用 户 自助 为 自己 账户 充值 的 功能 ( 见 图 3-1) 。 充 值 金额 的 范 
于 最 小 值 5， 则 系统 自动 更 新 为 5， 如 果 输入 80,， 因 

















为 大 于 最 大 值 50， 所 以 系统 自动 变 成 50。 











称 当 前 位 置 : 账户 充值 














对 于 这 个 功能 ， 小 蔡 详 细 设 计 了 测试 用 例 ， 履 盖 了 所 有 可 能 的 情况 : 


1) 输入 非 数字 ， 系 统 不 识别 ， 不 能 进行 充值 ; 


之 


Cs 


3 


Met 


输入 正确 的 充值 账号 


4 


Se 


输入 正确 的 充值 账号 


Mt 


输入 正确 的 充值 账号 


5 


6 


= 


输入 正确 的 充值 账号 


7 


= 


输入 正确 的 充值 账号 


8 


Mt 


输入 正确 的 充值 账号 





9 


Se 


输入 正确 的 充值 账号 





此 外 ， 小 蔡 还 考虑 到 虽然 这 个 功能 并 不 复杂 ， 但 是 需要 涉及 和 银行 方面 的 对 接 ， 所 以 还 设计 了 针对 银行 系统 的 集成 测试 
的 钱 ， 所 以 在 测试 时 修改 了 服务 器 上 充值 的 范 


输入 0， 系 统 自动 更 


输入 错误 /不 存在 的 充值 账号 ， 系 统 不 能 正确 充值 ; 


输入 负 值 ， 系 统 不 能 正确 充值 ; 


正成 5， 之 后 可 以 正确 充值 ; 


和 @@ 请 输入 正确 的 充值 账号 


5~50 元 


@@ 请 输入 正确 的 充值 数量 


95 医 
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图 3-1 充值 功能 


， 输 入 小 于 5 的 数值 ， 系 统 自动 更 正成 5， 之 后 可 以 正确 充值 ; 


， 输 入 大 于 50 的 数值 ， 系 统 自 动 更 正成 50， 之 后 可 以 正确 充值 ; 


， 输 入 等 于 5， 系 统 能 


正确 充值 ; 


， 输 入 等 于 50， 系 统 能 正确 充值 ; 





， 输 入 大 于 5、 小 于 50 





上 面 的 测试 用 例 就 变 成 了 : 


1) 输入 非 数 字 ， 系 统 不 识别 ， 不 能 进行 充值 ; 


2 


Ds 


3 


~ 


输入 正确 的 充值 账号 


4 


= 


输入 正确 的 充值 账号 


set 


输入 正确 的 充值 账号 


5 


6 


Se 


输入 正确 的 充值 账号 


7 


Dee 


输入 正确 的 充值 账号 


8 


Da 


输入 正确 的 充值 账号 





9) 输入 正确 的 充值 账号 


设计 好 测试 用 例 之 后 ， 小 蔡 去 找 老 牛 评审 。 老 牛 最 初 感觉 


输入 0， 系 统 自动 更 


的 数值 ， 系 统 能 正确 充值 。 


围 ， 缩 小 了 每 次 允许 充值 的 数目 范围 ， 





输入 错误 /不 存在 的 充值 账号 ， 系 统 不 能 正确 充值 ; 


输入 负 值 ， 系 统 不 能 正确 充值 ; 


正成 0.1， 之 后 可 以 正确 充值 ; 


修改 后 为 0.1~ 10。 


， 输 入 小 于 0.1 的 数值 ， 系 统 自动 更 正成 0.1， 之 后 可 以 正确 充值 ; 


， 输 入 大 于 10 的 数值 ， 系 统 自动 更 正成 10， 之 后 可 以 正确 充值 ; 


， 输 入 等 于 0.1， 系 统 能 正确 充值 ; 


， 输 入 等 于 10， 系 统 能 正确 充值 ; 





， 输 入 大 于 0.1、 小 于 1 





0 的 数值 ， 系 统 能 正确 充值 。 


所 在 ， 随 即 问 小 蔡 : “更 改 充值 范围 后 的 测试 用 例 真 的 等 价 于 原始 的 充值 用 例 吗 ?“ 

















本 来 小 莹 还 觉得 挺 有 信心 的 ， 但 是 被 者 牛 这 么 


范围 内 会 做 自动 纠 错 ， 也 就 是 说 系统 会 自动 把 这 个 超出 范围 的 数字 改 为 属于 允许 范围 





问 ， 自 己 也 拿 不 定 主意 了 。 老 牛 





用 户 无 法 输入 他 原本 想 输入 的 数字 的 Bug。 


老 牛 顿 一 下 ， 接 着 说 : 


“例如 ， 当 你 把 充值 范 




















围 改 为 0.1 ~ 10 后 开始 测试 ， 如 果 月 











看 她 没有 意识 到 所 出 的 问题 ， 又 细心 解释 道 : 














围 被 设 定 在 5 ~ 50 元 之 间 ， 低 于 或 者 高 于 这 个 金额 都 会 被 系统 自动 变 成 最 接近 的 允许 值 : 如 输入 3， 因 为 小 








， 由 于 使 用 的 是 真实 的 银行 系统 接口 ， 每 次 测试 会 真实 扣除 账户 中 


二 次 修改 的 测试 用 例 和 第 一 次 的 用 例 是 基本 等 价 的 ， 但 是 当 经 验 老 到 的 老 牛 在 实际 页 面 上 使 用 了 几 分 钟 后 ， 一 下 就 发 现 了 问题 


“你 看 输入 框 上 有 一 个 功能 ， 当 用 户 输入 的 数字 不 在 允许 的 




















户 输入 15 这 个 数字 ， 输 入 第 一 个 字符 1 时 ，1 








内 的 数字 。 但 是 问题 出 在 每 次 当 用 户 按 一 下 键盘 数字 键 后 ， 这 个 自动 纠 错 功能 都 会 起 作用 ， 这 可 能 会 造成 




















属于 允许 范围 





第 二 个 字符 5 的 时 候 ， 系 统 会 判断 15 这 个 数字 不 在 允许 范围 内 ， 因 此 系统 会 自动 把 这 个 数字 改 为 10， 整 个 过 程 符合 预期 没有 问题 。” 

















内 ， 因 此 可 以 输入 ， 当 用 户 输入 15 这 个 数字 的 





“但 是 如 果 我 们 把 充值 范围 恢复 到 5 ~ 50 后 再 进行 测试 ， 假 如 用 户 同样 输入 15 这 个 数字 ， 当 用 户 输入 15 这 个 数字 的 第 一 个 字符 1 的 时 候 ， 系 统 会 判断 这 个 字符 小 于 5， 因 此 系统 开始 自动 纠 
错 ， 自 动 把 1 变 成 5， 因 此 从 用 户 输入 第 一 个 字符 就 预示 着 最 终结 果 是 错误 的 。 这 时 候 ， 如 果 再 输入 15 这 个 数字 的 第 二 个 字符 5， 输 入 的 数值 就 会 变 成 55， 系 统 会 把 55 自 动 改 为 50。 因 此 当 我 们 
把 充值 范围 恢复 到 原来 的 5 ~ 50 后 ， 用 户 是 无 法 输入 15 这 个 数字 的 。” 















































这 还 真是 个 严重 的 问题 啊 ! 幸好 老 牛 的 经 验 丰 富 ， 能 看 出 两 个 测试 用 例 集 并 不 是 等 价 的 。 这 样 给 小 蔡 上 了 一 课 : 在 测试 用 例 本 身 的 设计 时 ， 也 需要 考虑 到 数值 对 于 测试 用 例 的 等 价 类 划分 


是 否 一 致 。 





对 于 这 个 问题 ， 小 蔡 首 先 添加 了 一 条 测试 用 例 : 











输入 正确 的 充值 账号 ， 输 入 大 于 10、 小 于 15 的 数值 ， 系 统 能 正确 充值 。 





其 他 为 避免 这 个 问题 采取 的 解决 方案 如 下 。 





1) 当 用 户 点 击 到 充值 数额 的 输入 框 之 外 以 后 ， 也 就 是 焦点 在 输入 框 之 外 的 时 候 ， 才 对 充值 数值 的 范围 进行 判断 ， 这 样 避 免 了 用 户 输入 的 过 程 对 于 数值 判断 逻辑 的 影响 ; 














2) 同时 小 蔡 也 扩大 了 充值 数值 的 范围 ， 改 为 从 0.1 到 15， 保 证 10 以 上 的 数值 也 可 以 成 功 充值 。 








3.2 ”针对 UI 设计 稿 的 测试 思 








设计 师 做 好 的 UI 设 计 稿 为 什么 还 要 做 测试 呢 ?》 因 为 测试 可 以 让 我 们 最 直接 、 最 有 效 地 洞察 产品 在 用 户 行为 、 界 面 可 能 性 、 用 户 期 望 与 功能 契合 度 等 方面 的 综合 表现 。 那 作为 一 名 测试 工程 
师 ， 在 拿 到 卡 中 的 设计 稿 后 ， 需 要 进行 哪些 方面 的 测试 呢 ? 正好 ， 小 莹 刚刚 接手 一 项 关于 UI 设 计 稿 的 测试 工作 ， 我 们 一 起 来 看 看 她 会 怎么 做 。 














小 莹 所 在 项 目 组 使 用 的 是 敏捷 开发 流程 ， 测 试 人 员 参 与 研发 各 个 环节 的 讨论 ， 同 时 提供 测试 思路 ， 以 便 项 目 组 其 他 成 员 打开 思路 。 一 般 流程 是 ， 当 开发 人 员 根据 优先 级 在 backlog 挑 了 一 
张 用 户 故事 卡 正式 编码 前 ， 会 和 项 目 相关 成 员 ， 如 需求 分 析 (BA) 、 开 发 、 测 试 ， 甚 至 产品 经 理 和 用 户 体验 设计 (UX) 等 一 起 进行 Kick off 来 确认 所 有 需求 细节 。 这 时 候 就 需要 测试 人 员 从 
测试 角度 提出 一 些 建议 来 帮助 开发 人 员 在 后 期 的 编码 中 进行 自 测 ， 这 些 建议 包括 是 否 有 未 覆盖 到 的 异常 路 径 /场景 、 如 何 测试 这 张 卡 、 研 发 的 实现 方案 可 测 性 如 何等 。 经 过 讨论 ， 还 可 以 帮助 
小 伙伴 们 打开 脑 洞 ， 引 出 更 多 更 新 的 想法 。 


























下 面 就 是 小 蔡 关 于 测试 UI 设 计 稿 的 思路 。 


思路 1: 页 面 效果 ( 见 图 3-2) 。 





背景 的 透明 度 


| 


el 
测试 加 事 


做 好 的 UI 设计 稿 为 什么 还 要 做 测试 ? 测试 ， 可 以 让 我 们 最 直接 县 有 效 地 洞察 产品 在 用 户 行为 、 界 面 可 能 性 、 用 户 期 望 与 功能 行 高 
积 合 庆 等 方面 的 综合 表现 。 而 作为 一 名 测试 工程 师 ， 在 拿 到 卡 中 的 设计 稿 后 ， 需 要 进行 哪些 方面 的 测试 呢 ? 正好 ， 小 葵 刚 


接手 一 项 美 二 UI 设计 稿 的 测试 工作 ， 我 们 一 起 来 看 看 他 会 怎么 做 ， 
字体 : Font Family 更 多 内 容 在 www.ceshijiongshi.com 
间距 ; Padding pl 





图 3-2 设计 图 中 的 关注 点 











区 





首先 ， 小 蔡 要 检查 UX 设计 师 是 否 给 出 了 字体 、 字 号 、 行 高 、 图 片 透 明度 、 边 缘 空 白 等 具体 内 容 或 数值 。 这 是 因为 在 网 页 开发 过 程 中 这 些 内 容 或 数值 对 最 终 显示 效果 均 有 一 定 的 影响 ， 所 
以 测试 时 必须 考虑 设计 稿 中 是 否 提供 出 具体 内 容 和 数据 ， 以 保证 最 终 的 显示 效果 与 设计 稿 一 致 。 而 小 葵 目 前 所 在 的 项 目 组 设计 师 在 使 用 Zeplin 工 具 进 行 设计 时 都 能 给 出 一 些 具体 数据 ， 以 便 测 
试 人 员 和 开发 人 员 进 行 测试 开发 。 












































那 除 了 这 些 关 系 到 页 面 效果 的 细节 ， 还 应 该 关注 /测试 哪些 呢 ? 小 蔡 左 思 右 想 还 是 没有 头绪 。 于 是 跑 来 找 老 牛 讨 思路 ， 老 牛 给 她 的 建议 是 多 关注 变化 点 ， 例 如 后 台 动 态 变化 的 数据 如 何 显 
示 在 界面 中 ， 以 及 页 面 是 否 是 Responsive (响应 式 ) 页 面 ， 如 果 是 的 话 ， 还 需要 看 页 面 元 素 在 不 同 尺 寸 的 屏幕 显示 是 否 正确 。 











思路 2: UI 设 计 图 是 否 适用 于 具体 屏幕 尺寸 。 





小 莹 在 Kick off 卡 时 还 需要 观察 设计 人 员 是 否 提供 了 针对 不 同 设备 屏幕 的 设计 图 ， 并 且 每 种 设计 是 否 合理 ， 是 否 方便 用 户 使 用 。 这 与 小 蔡 平 时 工作 中 勤 于 使 用 各 种 软件 是 离 不 开 的 。 通 过 
横向 对 比 各 软件 的 使 用 体验 ， 小 蔡 能 够 针对 不 同 屏幕 迅速 而 准确 地 提出 建议 。 














小 莹 目前 所 在 的 项 目 使 用 了 Responsive 页 面 技术 ， 此 技术 的 一 个 显著 特性 是 页 面 会 根据 客户 的 浏览 器 尺寸 定制 显示 页 面 元 素 ， 给 用 户 提供 最 佳 的 使 用 体验 。 例 如 平板 电脑 的 屏幕 较 大 ， 可 
显示 比较 多 的 内 容 ， 但 会 要 求 功 能 按钮 或 者 链接 方便 用 户 用 手 去 点 中 。 而 手机 屏 较 小 ， 同 样 要 求 按钮 的 大 小 要 方便 用 户 用 手指 可 以 很 容易 地 去 点 中 ， 同 时 可 能 需要 改变 一 些 界面 组 件 的 显示 位 























实证 明 ， 








入 mR@ 敏捷 测试 中 的 故事 卡 启动 环节 


故事 卡 启 动 (stoty kick off) 是 指 项 目 相关 成 员 如 需求 分 析 (BA) 、 开 发 
建议 ， 来 帮助 开发 人 员 进 行 有 效 自 测 。 


对 位 置 。 那 么 这 100 个 字符 是 否 需 


置 或 大 小 ， 删 除 或 增加 一 些 更 适宜 的 组 件 。 所 以 如 果 设 计 师 的 设计 稿 只 对 应 宽度 600 ~ 800px 的 屏幕 ， 小 蔡 就 需要 考虑 当 屏幕 变 小 或 者 变 大 后 ， 界 面 元 素 的 排列 是 否 方便 用 户 使 用 。 
又 如 ， 界 面 上 有 100 个 字符 的 文本 ， 在 浏览 器 最 大 化 时 显示 完全 正常 ， 但 是 当 浏 览 器 缩小 为 iPhone 4 的 宽度 后 ， 是 否 需要 进行 折 行 显示 ?可 是 折 行 显示 会 破坏 界面 上 各 组 件 之 间 显 示 的 相 
要 自动 截断 或 者 省 略 部 分 内 容 ， 如 显示 为 “今天 








思路 3: 重点 关注 后 台数 据 变化 动态 影 


” 吗 ? 这些 问 题 都 是 一 些 很 好 的 思路 ， 需 要 小 蒙 和 设计 人 员 讨 论 如 何 进行 是 最 优 的 。 
态 影响 界面 显示 。 


图 3-3 界 面 中 的 文本 都 是 从 后 台数 据 库 中 动态 读 取 的 ， 如 果 数 据 库 中 的 字符 串 非常 长 ， 该 如 何 显示 呢 ? 例如 “CBD 商 图” 变 成 长 字符 串 后 ， 是 折 行 还 是 加 省 略 号 ”有 时 在 字符 串 变 长 后 ， 
会 和 其 他 文本 显示 区 域 重 杰 ， 
呢 ? 


页 面 也 因此 会 变 得 不 美观 。 又 如 “视野 宽广 ”是 从 数据 库 读 取 字 符 串 的 ， 如 果 这 个 字符 串 是 空 字符 串 该 怎么 处 理 ， 是 留 着 空白 的 一 列 还 是 这 








行 从 四 列 变 为 三 列 





图 3-3 
再 比如 ， 图 














动态 数据 生成 的 界面 





3-4 的 两 个 按钮 是 根据 数据 库 中 的 数据 动态 生成 的 ， 可 能 是 一 个 按钮 ， 也 可 能 是 多 个 。 如 果 是 多 个 并 且 超 出 屏幕 的 宽度 ， 需 要 做 折 行 处 理 ， 还 是 让 每 行 显示 多 个 按钮 ， 这 都 不 
可 能 在 初版 设计 稿 中 全 部 体现 ， 因 此 就 需要 小 蔡 根 据 自己 的 测试 常识 与 业务 人 员 和 设计 人 员 商 量 了 。 


和 


如 果 按 钮 很 多 - 如 何在 电脑 和 手机 上 显示 


[ef 


这 些 按钮 是 根据 JSON 数 据 动态 生成 的 ， 


虚拟 看 房 


下 载 房屋 说 明 书 


图 3-4 动态 数据 生成 的 按钮 
明 ， 小 蔡 拥 有 的 这 些 针对 界面 设计 稿 的 测试 思路 ， 让 她 在 做 kick off 卡 时 能 及 时 提出 很 多 有 效 建议 ， 极 大 地 帮助 团 





队 湾 清 需求 ， 减 少 了 开发 返工 ， 也 大 大 提高 了 团队 工作 效率 。 


测试 ， 甚 至 产品 经 理 和 用 户 体验 设计 (UX) 等 ， 一 起 确认 所 有 需求 细节 ， 并 需要 测试 人 员 从 测试 角度 提出 一 些 


Kick off 带 来 如 下 好 处 。 


于 卡 的 范围 ， 哪 些 功 能 点 不 在 这 张 卡 的 范围 之 中 。 最 终 我 们 通常 会 形成 一 条 条 接受 条 件 (Acceptance Ctiteria，AC) ， 并 标注 在 卡 中 。 


通常 ， 当 一 个 故事 卡 可 以 准备 开工 的 时 候 ， 就 会 出 现 Kick off 这 个 环节 了 。 小 组 成 员 在 一 起 对 细节 讨论 大 约 10 分 钟 时 间 ， 最 终 大 家 会 更 加 理解 这 个 故事 卡 要 做 的 事情 ， 明 确 哪些 功能 点 属 


1) 避免 对 这 张 卡 所 涵盖 范围 的 混淆 。 


2) 避免 遗漏 这 张 卡 所 需要 的 一 些 细节 信息 。 


3) 避免 重新 返工 ， 如 果 开 发 人 员 一 开始 做 卡 时 ， 对 需求 理解 有 所 偏差 ， 那 么 后 续 重 新 返工 所 浪费 的 成 本 是 巨大 的 。 
等 六 DiR@ Responsive 设 计 


移动 设备 正在 爆炸 性 地 增长 ， 成 为 我 们 日 常 访问 互联 网 的 终端 。 于 


网 页 设计 师 不 得 不 面 对 一 个 难题 : 如 何 才能 在 大 小 不 同 的 设备 上 呈现 同样 的 网 页 内 容 ? 


为 了 解决 这 个 问题 ， 很 多 网 站 的 解决 办 法 是 ， 为 不 同 的 设备 提供 不 同 的 网 页 ， 比 如 专门 提供 一 个 手机 版 本 ， 这 种 做 法 需要 同时 维护 好 几 个 版 本 ， 增 加 了 维护 和 设计 的 工作 量 


响应 式 (responsive) 设计 ， 指 可 以 自动 识别 屏幕 宽度 ， 并 做 出 相应 调整 的 网 页 设计 。 这 种 设计 方式 正 是 解决 如 何在 不 同 设备 上 显示 不 同 布局 问题 的 关键 。 


响应 式 设计 的 核心 思想 是 “ 自 适 应 ”， 这 要 求 网 页 开发 的 时 候 ， 文 字 、 图 片 等 都 不 使 用 固定 大 小 (而 使 用 相对 大 小 ) 。 另 外 ， 各 个 区 块 的 位 置 也 应 该 是 浮动 的 ， 当 区 块 大 小 超过 了 屏幕 宽 
度 的 时 候 ， 这 个 区 块 会 自动 滚 到 前 面 元 素 的 下 方 ， 类 似 文本 编辑 器 的 自动 折 行 功能 。 我 们 可 以 稍微 简单 粗暴 点 儿 地 理解 响应 式 设计 的 实现 : 首先 是 自动 探测 屏幕 大 小 ， 然 后 根据 设 定 的 屏幕 大 
小 闪 值 在 不 同 尺寸 的 屏幕 下 显示 不 同 的 样式 。 这 样 就 可 以 达到 通过 手机 、 平 板 、 电 脑 等 不 同 设备 访问 同一 网 站 时 ， 看 到 不 同 的 呈现 方式 。 

响应 式 设计 对 测试 带 来 的 挑战 也 是 巨大 的 。 由 于 页 面 元 素 布局 的 动态 化 ， 对 测试 人 员 来 说 需要 着 重 关 心 的 测试 点 也 增加 起 来 ， 包 括 : 在 不 同 设备 分辩 率 ) 下 的 页 面 元 素 布局 流动 是 否 合 
理 ， 弹 出 框 等 页 面 交 互 元 素 是 否 有 被 遮盖 或 者 显示 不 全 等 。 


3.3 ”前 后 台 分 离 测试 时 需要 注意 测试 隔离 











小 蔡 测 试 的 产品 最 近 需 要 更 新 前 后 台 。 对 于 前 台 来 说 ， 要 从 之 前 的 JavaScript 转 换 成 Angular 等 新 技术 ， 显 示 样 式 也 要 从 前 几 年 的 拟 物 化 风格 转换 为 扁平 化 风格 ; 对 于 后 台 来 说 ， 要 从 之 
前 和 公司 内 部 其 他 产品 通用 的 6 套 后 台 模块 系统 架构 ， 转 换 成 只 包含 数据 库 和 后 端 服务 器 的 2 套 模块 系统 架构 ， 而 且 后 台 技术 要 用 Nodejs 重 写 ， 如 图 3-5 所 示 。 














基本 上 这 个 前 后 台 蔡 换 的 任务 ， 把 整个 系统 都 进行 了 蔡 换 ， 只 是 仍然 保留 了 之 前 的 功能 。 进 行 前 后 台 蔡 换 的 任务 时 间 紧 ， 所 以 整个 项 目 组 的 开发 人 员 被 分 成 了 两 个 小 组 ， 分 别 负责 前 后 台 
的 替换 ， 每 个 组 又 临时 扩充 了 不 少 别 的 团队 的 人 进行 协助 。 而 测试 人 员 ， 包 括 小 蔡 ， 还 是 负责 整个 项 目的 测试 工作 。 





Database 


http response 





图 3-5 ”前 后 台 系 统 替换 





在 蔡 换 项 目 准备 启动 阶段 ， 两 个 小 组 都 认为 只 要 自己 做 自己 的 部 分 ， 保 证 原 有 功能 的 正常 就 可 以 了 ， 两 个 团队 并 不 需要 过 多 的 交流 和 沟通 ， 一 切 以 之 前 的 系统 为 准 。 


然而 项 目 一 开始 ， 双 方 团队 就 遇 到 了 不 少 问题 。 





首先 ， 两 个 组 对 同一 功能 前 后 台 开发 的 优先 级 不 同 ， 造 成 进度 不 一 致 ， 导 致 有 些 模块 的 前 后 台 功 能 不 能 同一 时 间 完 成 。 这 就 阻碍 了 集成 测试 的 实施 ， 让 进度 一 拖 再 拖 。 为 了 减少 这 种 情 
况 ， 项 目 组 又 搭建 了 单独 的 包含 以 前 系统 后 台 和 某 换 项 目 中 前 台 的 环境 。 虽 然 这 解决 了 部 分 测试 延误 的 问题 ， 但 是 开发 人 员 人 花费 了 不 少时 间 来 搭建 环境 ， 而 且 在 这 个 环境 测试 完成 之 后 ， 还 需 
要 在 整套 蔡 换 前 后 台 的 环境 上 再 次 进行 集成 测试 。 














其 次 ， 测 试 人 员 在 前 台 发 现 问题 时 ， 并 不 能 准确 定位 是 前 台 团队 造成 的 ， 还 是 后 台 团 队 引入 的 。 而 且 由 于 不 熟悉 对 方 团 队 编写 代码 ， 开 发 人 员 也 需要 花费 不 少时 间 才 能 定位 问题 真正 的 原 
































整个 项 目 组 发 现 这 两 个 问题 耗费 的 时 间 过 长 ， 所 以 讨论 并 执行 了 一 套 方案 来 解决 这 两 个 问题 : 使 用 Mock 服 务 器 进行 测试 。 





| 


前 后 台 团队 根据 定义 好 的 API， 各 自 编写 Mock 服 务 器 ， 便 于 开发 人 员 进行 开发 ， 和 测试 人 员 测 试 相对 独立 的 模块 ， 也 大 大 简化 了 测试 环境 和 测试 执行 的 复杂 度 。 具 体 来 说 ， 就 是 前 台 | 
队 根 据 API 的 定义 ， 编 写 Mock 服 务 器 来 模拟 后 台数 据 库 和 服务 器 的 返回 ;而 后 台 团队 根据 API 的 定义 ， 编 写 Mock 服 务 器 来 模拟 前 台 服务 器 的 请 求 和 预期 结果 ， 如 图 3-6 所 示 。 
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Mock 时 对 后 台 系 统 进 行 测试 
Mock 


http request 


一 一 一 


近 一 一 - 


http response 





图 3-6 Mock 时 前 后 全 系统 的 结构 


使 用 Mock 服 务 器 进行 测试 ， 大 大 简化 了 测试 复杂 度 ， 从 测试 环境 上 也 隔离 了 前 后 台 的 测试 ， 加 快 了 测试 进度 。 


在 进一步 的 使 用 中 ， 小 蔡 发 现 有 时 API 接 口 定义 的 修改 在 前 后 台 没有 及 时 同步 ， 造 成 了 单独 测试 前 台 或 者 后 台 时 没有 问题 ， 但 是 在 进行 集成 时 ， 却 发 生 了 严重 




















还 好 小 蔡 之 前 定期 跟踪 测试 趋势 时 ， 从 ThoughtWorks 技 术 雷 达 卜 (technology radar) 上 了 解 到 契约 测试 就 是 针对 这 种 场景 的 一 种 测试 方法 ， 而 且 还 有 不 少 进行 契约 测试 的 工具 。 





的 不 一 致 。 





简单 说 来 ， 契 约 测试 就 是 同时 对 前 后 台 都 进行 了 Mock， 使 它们 随时 都 使 用 的 是 一 致 的 API 接 口 定义 ， 也 只 需要 维护 单一 的 API 接 口 。 使 用 契约 测试 的 工具 能 快速 实现 前 后 台 的 分 离 ， 同 时 
保证 它们 的 一 致 性 ， 如 图 3-7 所 示 。 





小 莹 在 项 目 组 讨论 改进 时 提出 了 这 个 测试 实践 ， 大 家 都 很 支持 ， 并 且 马 上 制定 计划 进行 试验 。 在 整个 项 目 组 尝试 了 一 周 之 后 ， 整 个 项 目 组 将 契约 测试 作为 团队 内 很 本 








执行 。 


要 的 实践 进行 推广 和 
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图 3-7 问 约 测试 时 前 后 台 系 统 的 结构 


xxmR@ API (接口 ) 测试 


API 测 试 是 针对 系统 所 提供 的 API 做 各 方面 的 验证 。API 的 性 能 和 安全 测试 根据 测试 策略 的 不 同 ， 会 是 一 个 可 选 测试 项 。API 的 功能 测试 类 似 于 UI 功 能 测试 ， 都 是 在 已 知 输入 内 容 和 期 望 结 
果 的 前 提 下 ， 使 用 这 个 功能 、 调 用 这 个 API， 并 且 验 证 是 否 能 返回 期 望 的 结果 。 不 同 的 是 API 测 试 在 返回 结果 被 呈现 给 客户 前 就 完成 了 ， 从 而 对 测试 环境 的 依赖 会 比较 小 。 


API 测 试 关注 点 是 各 个 模块 /单元 之 间 协 同 工 作 ， 它 所 履 盖 的 场景 也 会 比 单元 测试 更 多 ; 它 速 度 比 UI 测 试 更 快 ( 因 为 无 需 界面 加 载 /响应 ) ， 短 时 间 内 能 跑 很 多 用 例 。API 测 试 也 能 精确 地 
揭示 是 软件 中 哪个 组 件 出 了 问题 ， 结 合 持 续集 成 的 实践 ， 一 旦 代码 修改 破坏 了 现 有 的 功能 ， 就 能 够 快速 反馈 到 团队 中 。 


在 正式 开始 API 测 试 之 前 ， 我 们 得 先 搞 清 楚 几 个 问题 : 
“ 待 测 API 的 目的 是 什么 ， 谁 是 使 用 者 ; 

: 待 测 API 会 在 什么 环境 下 使 用 ; 

“ 待 测 API 在 异常 环境 下 会 不 会 有 非 期 望 的 响应 ; 

“ 这 个 测试 需要 测 什么 功能 点 ; 

“ 各 个 功能 点 的 测试 优先 级 ; 

"如何 定义 期 望 返回 的 结果 是 成 功 还 是 失败 ; 

待 测 API 会 不 会 和 其 他 系统 有 交互 (修改 代码 后 影响 其 他 系统 ) 。 
然后 是 API 的 验证 内 容 ， 大 致 包含 下 面 这 些 : 

“ 检查 API 是 不 是 根据 你 输入 的 数据 返回 期 望 的 结果 ; 
“ 验证 API 是 不 是 返回 结果 或 者 返回 异常 结果 ; 


* 验证 API 是 不 是 正确 触发 其 他 event 或 者 正确 调 了 其 他 API; 





' 验证 API 是 不 是 正确 更 新 了 数据 等 。 
最 后 就 是 输出 测试 报告 了 ， 好 的 测试 报告 可 以 帮助 你 轻松 定位 到 出 错 的 地 方 ， 使 修复 流程 更 加 顺畅 。 


常用 的 接口 测试 工具 有 : SoapUI、JMeter 和 Postman 等 。 


@ 术 各 @ 测试 置换 
Double 置 换 ， 是 所 有 模拟 测试 对 象 的 统称 ， 也 可 以 称 之 为 替身 。 
Stub 测 试 柱 ， 能 实现 当 特 定 的 方法 被 调用 时 ， 返 回 一 个 指定 的 模拟 值 。 假 如 测试 用 例 需 要 伴生 对 象 提供 数据 ， 那 么 我 们 就 可 以 使 用 Stub 来 替代 数据 源 ， 使 之 每 次 都 返回 一 致 的 模拟 数据 。 


Spy 侦查 ， 负 责 汇 报 情况 ， 持 续 追 踪 什么 方法 被 调用 了 ， 以 及 调用 过 程 中 传递 了 哪些 参数 。Spy 可 以 用 来 断言 特定 的 方法 是 否 被 调用 或 者 是 否 使 用 正确 的 参数 调用 。Spy 也 常 被 用 在 需要 测 
试 两 个 对 象 间 的 某 些 协议 或 者 关系 时 。 


Mock 模 拟 ， 与 Spy 类 似 ， 但 在 使 用 上 有 些许 不 同 。Spy 需 要 追踪 所 有 的 方法 调用 ， 之 后 才能 断言 ; 而 Mock 通 常 需要 事先 设 定期 望 。 使 用 Mock 时 需要 指定 期 望 发 生 什么 ， 然 后 执行 测试 代码 
并 验证 结果 与 事先 定义 的 期 望 是 否 一 致 。 


Fake 假 体 ， 是 具备 完整 功能 实现 和 行为 的 对 象 。 从 行为 上 来 说 它 和 真实 对 象 一 样 ， 但 不 同 于 真实 对 象 ， 它 的 实现 方式 更 加 简单 ， 完 全 是 为 测试 服务 的 ， 而 不 像 真实 对 象 是 为 了 功能 和 产品 
服务 的 。 典 型 的 例子 是 使 用 内 存 中 的 数据 库 生 成 一 个 数据 持久 化 对 象 ， 而 不 是 去 访问 一 个 真正 的 生产 环境 的 数据 库 。 


在 实际 项 目 实践 中 ， 由 于 大 家 对 于 这 些 概念 的 定义 并 不 很 清楚 ， 所 以 常常 混用 。 


@j&LxiR@ 契约 测试 


在 不 同 子 系统 相互 调用 的 关系 中 ， 存 在 消费 者 (Consumer) 和 生产 者 (Provider) 这 样 的 概念 。 比 如 某 登 录 系 统 中 有 专门 提供 用 户 信息 的 API 和 负责 前 端 显示 的 网 站 。 前 端 网 站 通过 POST 
方式 把 需要 查询 的 用 户 信息 传 给 API， 然 后 API 负 责 返回 查询 到 的 用 户 信息 。 在 这 个 系统 的 关系 中 ， 用 户 信息 API 就 是 Provider， 前 端 网 站 就 是 Consumet。 而 用 户 信息 返回 给 前 端 网 站 的 返回 格式 
(包括 格式 、 字 段 等 ) 以 及 前 端 网 站 传 给 用 户 信息 API 的 请 求 格 式 就 是 这 对 消费 者 /生产 者 之 间 的 契约 。 


当 生 产 者 在 频繁 修改 时 候 ， 或 者 生产 者 不 清楚 自己 有 多 少 个 消费 者 ， 却 只 针对 其 中 一 个 消费 者 做 了 修改 时 ， 可 能 会 导致 其 他 的 消费 者 因 返 回 的 契约 不 满足 条 件 而 前 溃 。 
净 约 测试 的 出 现 就 是 为 了 降低 这 种 问题 发 生 的 风险 而 产生 的 。 契 约 测 试 关注 消费 者 和 生产 者 双 发 契约 的 变化 ， 在 契约 发 生变 化 时 发 出 警告 。 


在 软件 开发 过 程 中 ，Mock 服 务 虽 然 是 很 好 的 实践 ， 解 决 了 一 系列 的 稳定 性 问题 。 但 是 Mock 服 务 本 身 的 缺点 之 一 就 是 它 毕 竞 不 是 真实 系统 ， 而 真实 服务 在 开发 过 程 中 ， 经 常会 发 生变 化 ， 
从 而 使 Mock 服 务 和 最 终 真实 系统 存在 差异 ， 导 致 整个 消费 者 系统 的 返工 甚至 重新 设计 。 而 问 约 测试 的 引入 ， 可 以 降低 最 终 真实 系统 和 Mock 服 务 之 间 存 在 差异 的 风险 。 


目前 业界 已 经 出 现 了 很 多 用 来 编写 契约 测试 的 工具 ， 壁 如 Pact、Pacto and Janus。 


[由 ThoughtWorks 技 术 雷 达 : ThoughtWorks 技 术 雷 达 是 一 份 不 限行 业 ， 技 术 中 立 的 前 脆性 技术 报告 。 比 起 一 些 我 们 能 在 市 面 上 见 到 的 其 他 各 种 技术 行情 和 预测 报告 ， 更 加 具体 ， 更 具 可 操作 性 ， 
因为 它 不 仅 涉 及 新 技术 大 趋势 ， 比 如 云 平 台 和 大 数据 ， 更 有 细致 到 类 库 和 工具 的 推介 与 评论 ， 从 而 更 容易 落地 。 


3.4 ”账号 天 联 过 的 手机 号 会 一 直 收 到 短信 验证 码 





就 像 现 在 很 多 注重 用 户 安全 的 公司 一 样 ， 小 蔡 的 公司 也 决定 对 用 户 的 账户 增加 一 个 强制 的 功能 ， 就 是 需要 用 户 绑 定 手机 ， 这 样 能 让 用 户 第 一 时 间 得 到 异常 登录 的 信息 ， 还 可 以 通过 手机 安 
全 登录 码 进行 二 次 验证 ， 然 后 才能 登录 网 站 ， 如 图 3-8 所 示 。 





添加 了 绑 定 手机 的 功能 ， 就 意味 着 还 需要 添加 修改 绑 定 手机 的 功能 ， 因 为 不 能 限制 用 户 只 使 用 同一 个 手机 号 。 


多 


人 @ 我 们 不 会 泄漏 您 的 手机 信息 





国家 /地 区 : [四 kx 陆 ” 司 


手机 号 码 : +86 


| ”免费 获取 验证 码 | 


验证 码 ; ”6 位 数字 


图 3-8 ”用户 在 个 人 账户 里 需要 绑 定 手机 








在 测试 添加 和 修改 绑 定 手机 号 的 过 程 中 ， 小 蔡 发 现 了 一 个 有 意思 的 问题 : 当 用 户 第 一 次 使 用 手机 号 绑 定 时 ， 系 统 不 会 出 错 ; 如 果 这 个 手机 号 之 前 被 绑 定 过 ， 虽 然 已 经 取消 了 绑 定 ， 但 是 被 
重新 绑 定 到 别 的 账户 时 ， 系 统 会 提示 这 个 手机 号 已 经 存在 ， 不 能 继续 绑 定 。 











中 | 











小 莹 明确 记得 在 测试 取消 绑 定时 ， 系 统 返回 解 绑 成 功 ， 在 前 台 也 看 不 到 绑 定 的 手机 号 了 ， 所 以 问题 就 被 缩小 到 后 台 解 绑 的 处 理 过 程 中 。 


这 一 次 小 蔡 并 没有 直接 去 找 负责 开发 这 一 模块 的 人 员 寻 求 帮 助 ， 而 是 想 锻 炼 自己 定位 和 解决 问题 的 能 力 ， 于 是 她 使 用 SQL 语句 查询 后 台数 据 库 里 有 关 被 解 绑 的 手机 号 。 经 过 一 系列 的 查 
询 ， 她 发 现 解 绑 的 手机 号 在 保存 用 户 信息 的 表 里 都 被 删除 了 ， 但 是 为 用 户 发 送 登录 码 和 异常 登录 信息 的 表 里 还 存在 有 解 绑 手 机 号 的 记录 。 














当 进 行 到 这 一 步 ， 小 蔡 大 胆 地 推测 ， 在 解 绑 手 机 的 时 候 ， 系 统 只 是 单纯 地 删除 了 用 户 信息 表 里 的 数据 ， 就 在 前 台 提示 用 户 处 理 成 功 ， 但 是 对 于 其 他 关联 的 数据 ， 并 没有 处 理 。 而 在 绑 定 手 
机 的 时 候 ， 系 统 逻 辑 会 判断 是 否 有 重复 的 数据 ， 这 就 造成 了 解 绑 的 手机 号 不 能 重新 被 绑 定 。 





























当 小 莹 把 这 一 发 现汇 报 给 老 牛 的 时 候 ， 老 牛 敏锐 地 指出 ， 其 实 这 个 问题 还 隐 含 了 一 个 更 大 的 风险 : 解 绑 的 手机 号 依然 可 以 收 到 系统 发 送 的 验证 码 ， 如 果 其 他 人 别有用心 ， 就 可 以 利用 这 个 
漏洞 ， 使 用 户 蒙受 损失 。 


好 险 ， 幸 亏 小 蒙 及 时 发 现 了 这 个 问题 。 通 过 这 个 缺陷 ， 小 蔡 意 识 到 : 对 于 增删 改 的 操作 ， 不 仅 需要 验证 前 台 返 回 的 结果 ， 同 时 需要 在 后 台 进 行 验证 ， 确 保 前 后 台 信息 的 一 致 性 和 完备 性 。 
而 做 到 这 一 点 ， 基 本 的 SQL 查询 语句 是 测试 人 员 需 要 熟悉 的 。 





ji 展 和 RG 常见 关系 型 数据 库 管 理 系统 
(1) 开放 源 代 码 数据 库 系统 
. Apache Derby: Apache 软 件 基金 会 的 纯 Java 数 据 库 管理 系统 。 
“ LevelDB: Google 所 研发 的 键 值 对 数据 库 编程 库 。 
: MySQL: 网 络 上 十 分 流行 的 数据 库 服务 器 ， 若 结合 Linux 系 统 、PHP 脚 本 技术 和 Apache Web 服 务 器 使 用 ， 则 称 为 LAMP。 


: SQLite: C 库 ， 支 持 完 全 的 SQL 标准 数据 库 ， 基 于 命令 行 。 





(2) 商业 数据 库 系统 

: DB2 IBM 的 企业 级 数据 库 产 品 ; 

: Microsoft Access: 微软 公司 Office 组 件 之 一 ， 通 常用 来 做 基本 的 数据 库 开 发 ， 数 据 量 膨胀 之 后 通常 采用 Microsoft SQL Server; 
: Mictosoft SQL Setver: 由 Sybase 开发 而 成 ， 是 微软 开发 体系 中 常用 的 数据 库 产品 ; 

-Oracle Database: 最 受 欢 迎 的 商业 数据 库 ， 也 是 很 多 企业 采用 的 数据 库 ; 


:Teradata: 功能 非常 强大 ， 适 用 于 非常 海量 数据 ， 通 常用 来 从 事 数 据 仓库 。 





人 @@iRniR@ 常用 的 SQL 语句 

1) 查看 数据 库 : SHOW databases; 。 

2) 选择 数据 库 : USE database_name; 。 

3) 表 定 义 信 息 : DESCRIBE table_name; 。 

4) 插入 数据 : INSERT INTO table_name (field_1…field_n) VALUES (value_1…value_n) ; 。 

5) 更 新 数据 : UPDATE table_name SET field_1=value_1…field_n=value_n WHERE CONDITION; 。 

6) 删除 记录 : DELETE FROM table_name WHERE CONDITION; 。 

7) 单 表 数据 查询 。 

首先 看 下 单 表 数 据 查询 的 基本 语句 : SELECT field_1，field_n FROM table_name; 。 

其 次 看 下 这 个 语句 在 不 同 场景 下 的 修改 。 

" 避免 重复 : SELECT DISTINCT field_1, field_n FROM table_name; 。 

: 排序 查询 : SELECT field_1, field_n FROM table_name WHERE CONDITION ORDER BY field_name[ASCIDESC]; 。 
“ 限制 数据 记录 查询 数量 : SELECT field_1, field_n FROM table_name WHERE CONDITION LIMIT OFFSET_START, ROW_COUNT; 。 
“ 统计 数值 列 总 和 : SELECT SUM (field_name) FROM table_name; 。 


“ 统计 制定 列 的 值 的 数目 : SELECT COUNT (field_name) FROM table_name; 。 


3.5 ”提高 测试 效率 的 一 个 捷径 








又 快 又 好 地 完成 测试 ， 是 每 一 个 测试 人 员 的 愿望 。 我 们 都 希望 建立 这 样 一 种 工作 流程 : 高 效 、 高 速 、 高 质量 。 在 时 间 压 力 下 ， 测 试 工作 有 没有 捷径 可 循 呢 ? 小 蔡 最 近 就 发 现 了 一 个 测试 捷 
径 ， 同 类 软件 对 比 。 我 们 来 看 看 她 是 如 何 做 到 的 。 














1. 测 试 案例 











小 蒙 最近 在 测试 电子 相册 功能 点 。 在 测试 过 程 中 ， 小 蔡 居 然 发 现 ， 有 捷径 ! 我 们 现在 很 多 人 ， 包 括 正在 阅读 本 文 的 你 ， 都 已 经 使 用 过 不 少 相册 功能 。 小 蔡 拿 到 故事 卡 后， 心情 那 叫 一 个 轻 
松 ， 通 过 以 往 使 用 电子 相册 的 经 验 ， 她 明白 用 户 的 基本 需求 ， 大 致 想法 就 在 她 脑 中 快速 生成 了 。 并 且 ， 公 司 其 他 项 目 组 也 有 做 类 似 的 电子 相册 ， 这 些 功能 相 异 或 相似 的 不 同形 式 的 电子 相册 为 
小 蒙 提供 了 不 少 参考 。 











接 下 来 我 们 看 看 小 蔡 针 对 电子 相册 发 现 的 问题 。 

(1) 图 片 信息 显示 不 全 

显示 不 全 的 图 片 ， 会 造成 信息 缺失 ， 令 用 户 困惑 并 被 误导 而 做 出 错误 的 决定 。 这 个 缺陷 是 功能 本 身 问题 ， 极 易 发 现 。 
(2) 手势 驱动 指令 


手势 放大 /缩小 功能 ， 单 指 滑动 ， 双 击 放大 等 。 触 屏 体验 ， 在 如 今 是 如 此 自然 之 事 ， 手 势 操作 让 体验 更 加 容易 和 有 趣 。 优 秀 的 应 用 产品 ， 总 是 少不了 手势 操作 的 。 





小 莹 发 现 这 个 相册 的 手势 操作 体验 极为 不 佳 : 只 有 当 两 个 手指 间距 超过 1 ~ 2 厘米 ， 手 势 放 大 功能 才能 起 作用 ， 不 支持 单 指 滑动 切换 图 片 ， 缺 少 双击 放大 功能 。 











(3) Fit to screen 和 数字 导航 
在 其 他 项 目 组 的 电子 相册 上 ， 小 蔡 发 现 了 两 个 不 错 的 功能 : 


1) Fit to screen: 当 用 户 放大 或 者 缩小 图 片 后 ， 只 需要 点 击 这 个 按钮 ， 就 能 马上 恢复 到 图 片 最 初 显示 的 尺寸 大 小 ， 方 便 用 户 使 用 ; 








2) 数字 导航 : 如 图 3-9 所 示 的 右 侧 绿 色 方 框 的 数字 导航 条 ， 可 以 帮助 用 户 知道 所 浏览 图 片 的 位 置 。 











考虑 到 提高 用 户 体验 ， 小 蔡 建 议 项 目 组 开发 实现 。 


| 


mm 





图 3-9 ”其 他 项 目 组 的 电子 相册 
(4) 从 倒数 第 一 到 第 一 的 跳 转 
图 3-10 所 示 是 其 他 产品 组 的 电子 相册 ， 表 现 得 相当 人 性 化 。 


1) 点 击 左右 箭头 时 ， 有 明显 的 按钮 被 按 下 的 界面 效果 ， 表 现 力 很 好 。 





2) 图 3-10 中 的 电子 相册 ， 叶 航 到 最 后 一 张 ， 再 次 点 击 右 侧 绿色 方 框 中 的 导航 按钮 ， 图 片 会 跳 转 至 第 一 张 ， 显 然 这 是 一 个 比较 人 性 化 的 操作 方式 。 














而 小 莹 在 测试 手头 上 的 电子 相册 时 ， 点 击 了 十 多 次 “下 一 张 ”按钮 ， 终 于 翻 到 了 最 后 ， 就 在 想 返 回 第 一 张 时 ， 又 是 十 几 下 的 点 击 ， 当 时 小 蔡 就 抓 攻 了， 立即 连 线 开 发 ， 修 改 跳 转 功能 ， 提 
升 按键 表现 力 。 





图 3-10 ”其 他 项 目 组 实现 的 电子 相册 导航 功能 


(5) 不 易 察 觉 的 缺陷 





修改 关闭 按钮 的 位 置 。 一 开始 小 莹 就 觉得 这 地 方 有 点 怪异 : 和 使 用 过 的 相册 相 比 ， 这 个 相册 右 侧 上 方 的 关闭 按钮 离 图 片 距离 比较 远 。 当 小 莹 使 用 iPhone 6 Plus 打开 电子 相册 的 时 候 才 发 
现 问题 真正 所 在 。 由 于 手机 屏幕 比较 大 ， 必 须 移动 手指 才能 点 击 到 ， 而 距离 图 片 近 的 关闭 按钮 ， 单 手 就 可 以 操作 。 所 以 这 个 必须 改 。 











2. 小 莹 总 结 


很 少 对 比 和 使 用 同类 软件 功能 的 测试 人 员 ， 开 始 测试 某 个 功能 时 ， 思 路 往往 会 被 开发 人 员 交 付 的 现 有 功能 和 实现 所 局 限 ， 并 且 短期 内 也 很 难 给 出 更 好 的 改进 点 。 而 一 个 成 熟 的 软件 功能 ， 
从 基本 满足 用 户 使 用 ， 到 使 用 体验 极 佳 ， 通 常 需要 很 多 改进 点 。 借 助 对 比 同类 软件 的 方法 ， 不 仅 可 以 开拓 测试 人 员 的 测试 思路 ， 还 能 快速 发 现 现 有 软件 的 不 足 。 对 比 同类 产品 功能 ， 极 易 发 现 
产品 缺陷 。 这 次 测试 相册 ， 我 就 是 通过 以 下 途径 来 实现 的 : 


1) 和 自己 记忆 中 的 软件 ， 理 想 的 完美 软件 进行 对 比 ; 

2) 和 市 场 现 有 同类 竞争 产品 做 对 比 ; 

3) 和 公司 内 不 同 产品 线 的 产品 做 对 比 。 

通过 对 比分 析 快 速 帮 我 打开 测试 思路 ， 去 粗 取 精 ， 进 一 步 优 化 自己 手中 的 项 目 。 


对 比 同类 软件 ， 说 起 来 也 算是 个 测试 捷径 了 。 多 人 少 经 验 和 理智 告诉 我 们 ， 捷 径 害 死 人 。 但 是 测试 真 的 就 没有 捷径 可 循 吗 ? 





在 这 里 ， 我 大 声 地 告诉 你 ， 测 试 有 捷径 ! 

1) 可 靠 的 日 常 积累 ， 例 如 对 各 种 软件 的 使 用 方式 、 用 户 体验 和 其 他 非 功 能 性 需求 的 了 解 。 
2) 通过 知识 积累 ， 刺 激 思维 方式 发 生 飞 跃 。 

3) 更 多 的 测试 经 验 ， 以 及 测试 过 程 中 IT 知 识 的 不 断 积累 ， 有 助 于 快速 判断 出 Bug 的 位 置 。 
4) 同业 务 分 析 师 、 项 目 经 理 、 开 发 人 员 沟 通 ， 可 以 激发 出 更 多 的 测试 灵感 和 思路 。 


有 各 话 叫做 “功夫 在 诗 外 ” ， 大 致 也 是 说 我 们 测试 的 吧 ! 


3.6 ”缺陷 V5 功能 


“小 葵 ， 听 说 过 网 站 的 A/B testing 吗 ? ” 老 牛 上 午 去 和 各 个 部 门 老大 开 了 会 ， 回 来 以 后 突然 向 小 蔡 问 到 。 “您 是 说 为 同一 个 目标 制定 两 个 方案 (比如 两 个 页 面 ) ， 让 一 部 分 用 户 使 用 A 方 
案 ， 另 一 部 分 用 户 使 用 8B 方案， 然后 记录 下 用 户 的 使 用 情况 ， 看 哪个 方案 更 符合 设计 的 那 种 网 站 优化 方法 ? ”小 蔡 记 起 曾 在 某 个 测试 论坛 上 看 到 有 人 简单 介绍 过 这 种 优化 方案 。 


“对 ! ” 老 牛 感到 很 满意 ， 看 来 小 蔡 平 时 挺 注重 知识 扩展 的 。 他 继续 说 道 : “公司 计划 提升 网 站 的 客户 体验 ， 准 备 重新 改造 现 有 的 页 面 。 为 了 让 网 站 更 能 吸引 客户 ， 我 们 必须 先 分 析 客 户 
的 喜好 。 所 以 研发 人 员 已 经 准备 好 了 两 套 不 同 的 页 面 UI 准备 发 布 到 生产 服务 器 。 计 划 要 使 用 第 三 方 的 A/B testing 的 工具 Optimizely 进 行 测试 。 想 不 想来 试 坛 ?“ 


听 上 去 好 有 趣 的 样子 ! 小 蔡 是 这 么 想 的 ， 于 是 就 一 口 答 应 了 老 牛 ， 接 下 了 任务 。 





“具体 的 需求 是 这 样子 的 。” 老 牛 拿 出 笔 和 纸 ， 边 讲 边 画 : “研发 已 经 做 了 两 套 新 的 订单 详细 信息 页 面 。 当 你 点 击 订单 列表 上 的 “查看 详情 ”按钮 ( 见 图 3-11) 的 时 候 ，50% 的 可 能 性 会 
跳 转 到 订单 详细 页 面 A; 还 有 509% 的 可 能 性 会 跳 转 到 订单 详细 页 面 B。 那 么 ， 先 尝试 分 析 下 测试 场景 看 看 ?“ 


“好 ! ”小 葵 思 考 了 一 下 ， 从 需求 上 看 ， 这 个 功能 主要 有 两 个 关键 点 : 点 击 按钮 能 够 正常 跳 转 到 订单 详细 页 面 和 验证 研发 设置 的 50% 的 跳 转 不 同 页 面 率 。 于 是 她 拿 出 笔 和 纸 ， 飞 快 地 写 下 
测试 场景 : 





1) 验证 点 击 “ 查 看 详情 ”按钮 能 够 正常 跳 转 到 订单 详细 页 面 ; 
2) 点 击 按钮 一 定 次 数 ， 检 查 跳 转 到 A/B 订 单 详细 页 面 的 概率 是 否 符合 研发 设置 的 50%。 


然后 她 突然 回忆 起 论坛 上 说 过 ，A/B testing 每 次 会 使 用 浏览 器 Cookie 去 记录 用 户 ， 而 且 不 同 浏览 器 对 A/B testing 使 用 的 Javascript 脚 本 支持 可 能 会 有 差异 。 所 以 又 加 上 一 个 场景 ， 并 且 
增加 了 前 置 条 件 : 每 次 跳 转 订单 详细 页 面 后 需要 清空 浏览 器 缓存 。 


3) 在 Chrome、Firefox、IE、Safari 等 不 同 的 浏览 器 及 版 本 上 使 用 该 按钮 ， 查 看 跳 转 结果 是 否 正 常 。 
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图 3-11 页 面 上 的 “查看 详情 ”按钮 


老 牛 看 了 看 小 蔡 分 析 的 测试 场景 ， 想 了 半天 说 : “基本 功能 现在 应 该 问题 不 大 了 ， 但 是 我 有 点 担心 的 是 ， 我 们 在 使 用 的 工具 Optimizely， 它 的 原理 是 在 我 们 开发 的 页 面 里 加 入 特定 的 
Javascript 文 件 ， 然 后 通过 编程 去 动态 改变 这 个 按钮 的 跳 转 页 面 ， 最 终 实现 了 用 户 点 一 个 URL 却 能 看 到 不 同 页 面 的 效果 。 在 这 个 功能 的 实现 过 程 中 ， 需 要 在 Optimizely 的 网 站 去 建立 对 应 的 配 
置 环境 后 才能 使 用 ， 因 此 很 有 可 能 我 们 的 程序 需要 实时 地 访问 Optimizely 网 站 。 那 么 当 Optimizely 有 问题 如 响应 慢 、 超 时 或 者 瞬时 压力 过 大 ， 会 不 会 影响 我 们 自己 的 功能 及 页 面 跳 转 呢 ?“ 


带 着 老 牛 的 提示 ， 小 蔡 计 划 先 在 测试 环境 中 验证 下 老 牛 提 到 的 Optimizely 出 现 问题 的 情况 。 但 是 应 该 如 何 模拟 Optimizely 有 问题 的 场景 呢 ? 这 可 是 第 三 方 资源 依赖 啊 ， 难 道 我 打 电话 请 
Optimizely 的 工作 人 员 把 他 们 网 站 先 关 掉 ?小 蔡 挠 了 挠 脑袋 。 





有 了 ! 老 牛 不 是 说 过 ，Optimizely 瞬 时 压力 过 大 也 可 能 是 一 种 第 三 方 依赖 异常 的 情况 吗 ? 那 我 就 在 短 时 间 内 不 断 地 访问 它 ， 不 就 可 以 在 一 定 程度 上 模拟 出 短 时 间 内 压力 大 的 情况 了 ! 小 葵 
灵光 一 现 ， 突 然 想 到 了 这 么 个 模拟 测试 场景 的 办 法 。 


小 蔡 决 定 用 按 住 Ctr 键 ， 连 续 多 次 点 击 “ 查 看 详情 ”按钮 的 方式 来 尝试 短 时 间 内 多 次 和 Optimizely 发 生 交 互 一 一 这 种 操作 方式 可 以 在 新 的 tab 中 跳 转 到 订单 详细 页 面 ， 从 而 避免 点 击 按钮 
后 当前 页 面 被 跳 转 。 试 验 结果 让 小 蔡 大 跌眼镜 ! 最 终 连 续 打开 的 几 十 个 tab 页 面 ， 有 一 部 分 正常 显示 了 ， 剩 下 的 都 是 空白 页 面 ! 难道 Optimizely 带 来 了 页 面 加 载 的 性 能 问题 ? 


还 是 先 确认 下 这 样 的 结果 不 是 因为 我 用 打开 新 tab 的 方式 跳 转 页 面 造成 的 吧 ! 产品 环境 中 还 没有 部 署 A/B tesing 功 能 ， 在 生产 环境 中 试 试看 打开 新 tab 的 方式 会 不 会 也 造成 空白 页 面 。 如 果 
生产 环境 中 没有 问题 ， 那 就 可 以 确认 空白 页 是 跟 Optimizely 有 关 了 。 小 蔡 想 起 刚 入 职 的 时 候 老 牛 说 过 的 话 : “发 现 问题 后 最 好 先 思 考 下 问题 原因 ， 确 认 不 是 因为 自己 误 操 作 造 成 的 问题 ， 再 去 
找 研 发 同事 们 一 起 调查 问题 ， 这 样 的 话 可 以 节省 沟通 成 本 ， 而 且 有 利于 大 家 知识 的 积累 。” 


于 是 小 蔡 在 产品 环境 中 做 了 相同 的 测试 ， 点 击 出 了 很 多 tab 页 面 ， 发 现 所 有 tab 都 正常 显示 ， 并 没有 出 现 空白 页 面 ! “哈哈 ， 这 下 可 以 确定 是 Optimizely 带 来 的 问题 了 ! ”小 蔡 感 觉 挺 开 
心 ， 不 仅 确 认 了 这 是 个 问题 而 且 帮 研发 同事 缩小 了 问题 范围 ， 她 拿 着 测试 结果 去 找 研 发 人 员 沟 通 。 





经 过 一 下 午 的 问题 调查 ， 小 蔡 和 研 发 人 员 终 于 在 Optimizely 的 技术 社区 里 找到 了 该 公司 技术 人 员 的 说 明文 档 。 上 面 说 ， 如 果 出 现在 5 秒 内 该 链接 被 连续 点 击 的 现象 ， 系 统 会 停止 链接 跳 转 
功能 (通过 使 用 cookie) ， 从 而 会 出 现 空白 的 页 面 。 


“ 那 为 什么 会 有 这 个 限制 呢 ? ”小 蔡 找 到 老 牛 ， 报 告 了 他 们 的 发 现 。 虽 然 找 到 了 问题 原因 ， 但 是 她 依然 感觉 有 些 疑 惑 ，Optimizely 为 什么 会 设计 这 么 一 个 功能 呢 ? 于 是 她 向 老 牛 问 道 。 





“呵呵 ， 小 蔡 ， 你 进步 挺 快 啊 ! 对 问题 刨 根 究 底 是 一 个 优秀 测试 人 员 的 属性 之 一 。 你 了 解 到 了 问题 的 根本 原因 之 后 ， 可 以 更 方便 地 推测 出 问题 的 影响 范围 ， 从 而 更 加 准确 地 制定 测试 策 
略 。 而 且 你 在 跟 产 品 和 研发 打交道 的 时 候 ， 也 可 以 提出 更 加 专业 的 意见 。” 老 牛 满意 地 点 点 头 ， 继 续 说 道 : “我 想 Optimizely 设 计 这 个 功能 的 原因 在 于 避免 高 频 访问 它们 的 服务 器 ， 造 成 服务 
器 压力 巨大 。 举 个 例子 ， 如 果 我 们 订单 详细 A 页 面 有 通过 Optimizely 自 动 跳 转 到 订单 详细 B 页 面 的 代码 ， 而 订单 详细 B 又 刚好 有 跳 转 到 订单 详细 A 的 代码 ， 这 个 时 候 如 果 我 们 点 击 “查看 详 
情 ' 按钮 的 话 ， 页 面 就 会 在 订单 详细 A 和 订单 详细 B 之 间 形 成 死 循环 。 而 且 页 面 跳 转 的 行为 非常 快 ， 短 时 间 内 会 不 断 访 问 Optimizely， 这 样 会 对 它们 的 服务 器 造成 极 大 的 压力 ， 所 以 
Optimizely 做 了 5 秒 内 不 能 重复 访问 的 限制 。 总 体 来 说 ， 这 是 Optimizely 对 访问 它们 服务 器 做 的 频率 限制 功能 。” 








“所 以 这 个 问题 不 是 Bug， 而 是 Optimizely 自 身 的 功能 设计 。” 小 蔡明 白 过 来 了 ， 说 道 : “ 那 接 下 来 我 先 试 试看 每 隔 6 ~ 7 秒 打开 一 个 新 窗口 ， 确 认 下 是 不 是 会 有 问题 。 确 认 后 ， 再 把 这 个 
问题 作为 风险 项 给 产品 的 同事 提出 来 ， 请 他 们 一 起 来 确定 风险 规避 措施 。” 老 牛 听 罢 笑 道 : “ 取 子 可 教 也 !“ 





经 过 这 次 问题 分 析 ， 小 蔡 开 始 明白 了 : 碰 到 问题 是 否 是 Bug， 是 否 真 的 需要 修复 ， 要 结合 其 背后 的 技术 实现 和 原因 进行 分 析 。 另 外 我 们 自己 在 开发 接口 的 时 候 ， 也 可 以 参考 Optimizely 的 











方式 做 频率 限制 ， 避 免 服务 器 压力 过 大 。 网 络 上 有 一 张 关 于 Bug 与 特性 的 图 





3-12) ， 是 特性 还 是 Bug 需 要 我 们 仔细 辨别 ， 保 证 特征 不 会 变 成 Bug。 
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图 3-12 Bug VS 特征 (图 片 源 于 网 络 ) 





3.7 ”关于 一 次 缺陷 大 扫除 的 结果 分 析 





一 般 而 言 ， 项 目 上 产品 环境 前 ， 有 一 个 环节 ， 叫 做 “缺陷 大 扫除 (bug bash) ”， 顾名思义 ， 就 是 发 现 并 清理 Bug。 参 与 者 包括 产品 经 理 、 开 发 、 测 试 、BA、 设 计 人 员 ， 偶 有 市 场 和 销 
售 。 为 时 一 小 时 。 主 要 借助 大 家 不 同 视角 ， 没 有 先入 为 主 ， 也 没有 熟视无睹 ， 尽 快 让 潜藏 的 Bug 浮 出 水 面 ， 以 减少 项 目 成 本 以 及 有 可 能 的 客户 抱怨 。 























1.38 处 Bug 伤 了 测试 们 的 心 


第 一 阶段 的 开发 任务 终于 完成 了 ，7 名 开发 人 员 耗 时 3 个 月 。 在 系统 被 部 署 到 产品 环境 前 ， 团 队 来 了 一 次 缺陷 大 扫除 。 小 莹 暗自 庆幸 ， 团 队 使 用 敏捷 开发 流程 ， 很 多 Bug 在 萌芽 状态 便 被 拓 
杀 。 然 而 一 阵 大 扫除 下 来 ， 居 然 找 出 了 38 个 Bug。 是 当时 有 人 有 睡 着 了 吗 ? 














2. 关 于 缺陷 大 扫除 的 分 析 





小 莹 和 开发 技术 负责 人 一 起 查看 了 这 38 个 缺陷 ， 分 析 结果 如 图 3-13 所 示 。 


从 


BUG BASH 结果 分 析 


安全 
测试 过 但 又 出 现 《6% 误 报 
问题 的 功能 9% 7 50% 
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下 阶段 开发 内 容 
13% 


图 3-13 ”缺陷 大 扫除 结果 分 析 饼 状 图 





图 3-14 可 以 看 出 ，Bug 来 源 比例 最 大 的 是 误 报 ， 接 着 是 已 知 缺陷 ， 新 发 现 的 缺陷 和 下 阶段 开发 内 容 ，UI 改 进 和 易 用 性 ， 测 试 过 又 出 现 问题 的 功能 ,最 后 是 安全 问题 。 


误 报 的 情况 主要 由 于 参与 缺陷 大 扫除 的 人 角色 不 同 ， 对 他 人 负责 的 业务 模块 不 够 熟悉 ， 或 者 对 项 目 全 局 信息 不 够 了 解 。 这 就 需要 缺陷 大 扫除 之 前 ， 所 有 参与 者 及 时 沟通 ， 熟 悉 项 目 。 


不 属于 本 阶段 开发 内 容 和 缺陷 大 扫除 之 前 就 已 知 的 缺陷 ， 以 及 新 发 现 的 一 些 缺 陷 ， 例 如 界面 上 的 细节 Bug， 需 要 建立 相应 文档 ， 来 帮助 项 目 团队 快速 理解 项 目 信息 ， 提 高 产品 质量 及 团队 
工作 效率 。 


设计 师 往往 能 发 现 常人 所 不 能 发 现 的 界面 细节 问题 。 所 以 在 UI 改进 上 ， 凡 是 和 UI 相关 的 卡 在 测试 人 员 测 试 后 ， 均 移 到 JIRA 卡 墙 上 “UI 验证 ”一 列 让 UI 设计 人 员 查 看 运行 效果 ， 以 便 及 时 发 
现 需要 修改 的 点 。 


要 减少 正常 功能 遭 破 坏 ， 只 需 增加 界面 端 自动 化 测试 的 覆盖 度 。 相 信 大 家 对 此 都 是 可 以 理解 的 。 


安全 测试 属于 一 个 专门 领域 ， 有 相关 专家 进行 测试 和 扫描 安全 漏洞 ， 但 是 建议 大 家 掌握 一 些 基 本 的 安全 测试 工具 以 及 方法 。 


通常 在 模拟 器 中 进行 测试 时 ， 较 难 发 现 某 些 问题 。 而 一 些 懒 于 在 真 机 上 进行 测试 的 人 ， 往 往 会 让 这 一 类 Bug 跑 掉 。 所 以 作为 一 名 合格 的 测试 人 员 ， 一 定 不 能 偷懒 ! 不 能 偷懒 ! 不 能 偷 同 ! 
在 真 机 上 进行 易 用 性 测试 ， 必 不 可 少 ! 必 不 可 少 ! 必 不 可 少 ! 


我 们 再 来 说 一 个 值得 深度 思考 的 话题 ， 如 何 对 待 Bug。 


比 起 “发 现 Bug” ， 更 高 明 的 是 “避免 Bug”。 如 何在 项 目 早期 尽 可 能 发 现 并 排除 产品 缺陷 、 节 省 成 本 ， 构 建 可 信和 软件，Bug 是 否 可 以 有 效 避 免 ， 真 的 能 做 到 “ 零 缺陷 ”产品 ? 


抱歉 ， 这 个 问题 小 蔡 也 没 具体 答案 。 


Philip Crosby 几 年 前 说 过 ， 对 待 Bug， 我 们 应 该 努力 预防 ， 而 不 仅仅 是 修正 。 借 Philip Crosby 之 言 ， 在 我 们 工作 过 程 中 是 否 需要 考虑 如 下 情况 : 
1) 必须 解决 的 问题 一 一 质量 本 身 ， 即 项 目的 质量 到 底 是 什么 ? 


2) 谁 负责 把 质量 引入 团队 组 织 ， 如 何 引 入 ? 





3) 一 旦 我 们 回答 了 问题 1、2 之 后 ， 又 该 做 些 什么 ? 








最 后 要 告诉 大 家 : 缺陷 大 扫除 不 仅仅 是 用 来 发 现 Bug 的 。 


缺陷 大 扫除 ， 除 了 发 现 Bug 外 ， 它 还 有 更 具 魅 力 的 地 方 。 

















1) 让 每 个 人 有 更 多 的 机 会 了 解 其 他 模块 ， 了 解 全 局 信息 。 








2) 借助 不 同 角色 的 眼睛 发 现 开发 和 测试 在 使 用 产品 过 程 中 已 经 自动 忽略 的 所 谓 的 “正常 现象 ”。 














缺陷 大 扫除 带 给 我 们 的 不 止 是 发 现 Bug， 还 帮助 我 们 建立 了 一 种 新 的 思考 方式 ， 提 高 了 测试 敏感 度 、 产 品 关注 度 ， 是 增强 团队 凝聚 力 的 一 个 有 效 途 径 ， 让 团队 中 每 一 个 人 不 会 觉得 自己 只 
是 一 个 孤立 的 “个 体 ”， 一 个 螺丝 钉 ， 一 个 小 昌 蚁 ， 而 是 项 目 中 的 “无 我 不 可 ”。 








3.8” 不 结 











通过 本 章 的 故事 ， 我 们 可 以 发 现 除了 实用 技术 手段 或 者 提高 测试 覆盖 率 的 方法 能 避免 Bug， 采 取 本 章 推荐 的 这 些 实践 也 能 在 很 大 程度 上 预防 Bug。 而 要 推行 这 些 实践 ， 就 需要 测试 人 员 拿 
出 勇气 和 证 据 ， 说 服 团队 采用 这 些 实践 ， 并 且 长 期 不 断 地 坚持 。 





























第 4 章 ”功能 测试 : 业务 需求 篇 








作为 功能 测试 部 分 的 最 后 一 章 ， 我 们 为 大 家 准备 了 5 个 故事 : 通过 了 解 业务 需求 ， 指 导 我 们 进行 测试 。 我 们 先 看 一 个 生活 中 的 场景 : 





《办 证 》 

工作 人 员 A: 先 填 一 下 表 ， 这 边 有 样 表 。 
工作 人 员 B: 应 该 不 会 再 有 人 填 错 了 。 

办 证 人 : 交 表 ,看 下 有 什么 问题 吗 ? 
工作 人 员 A: 你 怎么 用 蓝 色 笔 填 ? 重 填 一 张 ! 
办 证 人 : 没 说 不 让 用 蓝 色 。 


工作 人 员 A: 不 都 默认 黑色 吗 ? 




















通常 来 说 ， 如 果 产 品 的 需求 都 是 明确 地 写 出 来 了 ， 那 我 们 在 测试 中 一 般 不 会 遗漏 ， 但 是 有 些 需求 场景 是 业务 人 员 默 认 而 开发 团队 却 不 了 解 的 ， 这 就 会 造成 我 们 在 测试 中 忽略 这 些 有 可 能 对 
产品 造成 重大 影响 的 功能 。 








本 章 重点 就 在 于 如 何 分 析 和 避免 这 些 问题 。 


4.1 图 片 轮 播 的 自动 播放 和 手动 播放 站 突 

















最 近 业 务 方 提出 一 个 新 的 需求 : 在 主页 中 间 的 位 置 添加 一 组 图 片 轮 播 [的 功能 ， 如 图 4-1 所 示 。 




















图 4-1 图 片 轮 播 


这 个 功能 是 如 何 实现 的 ， 小 葵 并 不 是 很 了 解 。 所 以 对 于 业务 方 的 这 个 要 求 ， 小 蔡 先 找到 开发 人 员 了 解 这 一 功能 的 背后 实现 机 制 。 原 来 ， 这 一 功能 是 开发 人 员 基于 第 三 方 库 来 实现 的 ， 实 现 
过 程 中 仪 做 了 一 些 变量 去 设置 图 片 大 小 和 轮 播 时 间 间 隔 等 功能 。 


鉴于 第 三 方 库 的 功能 测试 不 在 测试 范围 内 ， 小 蔡 对 图 片 轮 播 的 功能 测试 就 略 显 简单 了 ， 如 ， 





1) 对 边界 图 片 进行 导航 查看 相册 跳 转 展示 是 否 正 常 。 














2) 下 方位 置 指示 器 是 否 正确 标示 当前 图 片 所 在 位 置 。 











一 番 对 图 片 轮 播 的 功能 测试 下 来 ， 小 蔡 并 没有 发 现 什么 问题 。 
问题 在 哪儿 ? 


“第 三 方 库 的 性 能 优良 吗 ? ”这 一 念头 内 过 的 同时 ， 小 蔡 快 速 点 击 导航 菜单 ， 结 果 发 现 ， 当 最 后 一 张 图 片 正在 自动 轮 播 的 时 人 息 ， 同 时 点 击 “ 下 一 张 ”按钮 ， 界 面 显 示 就 出 现 了 空白 ,而 不 
是 预期 的 返回 到 第 一 张 图 片 ， 并 且 之 后 所 有 的 图 片 都 无 法 显示 。 接 下 来 的 尝试 又 有 了 新 发 现 。 





同样 处 在 最 后 一 张 图 片 时 : 

“ 当 没有 自动 轮 播 : 点 击 “ 下 一 张 ”按钮 三 没 问题 ; 

“ 当 自 动 轮 播 : 点 击 “ 上 一 张 ” 按 钮 王 有 问题 。 

这 个 问题 依旧 是 出 现 了 空白 页 面 。 

“ 哈 ! 问题 找到 了 ! ”小 蔡 断 定 问题 出 在 自动 轮 播 这 个 功能 上 ! 

不 熟悉 第 三 方 代码 ， 如 何 修复 ? 

这 是 第 三 方 库 代码 本 身 的 问题 ， 要 修复 需 熟 悉 第 三 方 代码 。 但 是 项 目 交付 时 间 较 紧迫 ， 该 怎么 办 呢 ? 


老 牛 建议 开发 人 员 先 把 轮 播 时 间 修 改 为 一 个 用 户 不 常用 的 时 间 间 隔 (例如 5 秒 ) ， 减 小 了 问题 出 现 的 几率 ， 但 是 这 只 能 作为 一 个 快速 的 临时 解决 方案 。 





同时 开发 人 员 也 在 加 紧 自 寻 解 决 路 径 : 在 图 片 自动 轮 播 的 时 候 ， 将 之 前 的 允许 手动 切换 图 片 和 自动 播放 同时 运行 ， 改 为 这 两 个 行为 串 行 执行 ， 即 一 个 动作 执行 完 以 后 ， 程 序 才 会 执行 另外 
一 个 动作 。 这 样 避免 了 同时 对 图 片 操作 而 产生 问题 。 


口 











待 第 三 方 库 的 缺陷 被 修复 和 测试 后 ， 项 目 团队 又 为 产品 打 了 一 个 补丁 ， 才 彻底 解决 了 这 个 问题 。 

关于 第 三 方 库 ， 小 莹 提示 大 家 : 在 使 用 时 干 万 不 能 掉以轻心 ， 更 不 能 默认 为 无 缺陷 。 使 用 第 三 方 库 时 ， 不 仪 要 了 解 其 功能 ， 还 要 了 解 它 当 前 性 能 是 否 能 满足 项 目 需求 ， 从 而 全 面 地 进行 测 
试 午 盖 。 
全 展 j0i 第 = 方 库 

对 使 用 各 类 第 三 方 库 的 软件 进行 测试 ， 测 斌 资源 该 如 何 投入 ? 

1) 著名 的 开源 软件 。 已 发 布 和 更 新 多 年 ， 业 界 口碑 好 ， 而 且 开 发 社区 非常 活跃 ， 出 现 问题 修复 及 时 。 这 时 测 斌 精力 偏向 于 自 有 软件 与 第 三 方 库 的 调用 过 程 上 ， 也 可 借助 工具 检查 自 有 软 
件 发 出 的 参数 ， 以 及 第 三 方 库 的 返回 结果 ， 查 看 其 是 否 符合 预期 。 

2) 业界 质量 口碑 中 上 的 。 这 时 除了 1 中 的 测试 外 ， 还 要 做 更 多 的 端 到 端 测试 ， 基 至 花费 更 多 的 时 间 确保 使 用 第 三 方 库 后 一 切 正常 。 更 新 第 三 方 库 版 本 后 ， 仍 需 测试 之 前 的 所 有 分 支 ， 以 确 
保 第 三 方 库 的 升级 未 对 我 们 的 系统 造成 破坏 。 

3) 偏 门 、 质 量 不 高 的 。 这 时 测试 工作 量变 为 两 部 分 : 自 有 软件 和 第 三 方 库 。 测 试 工作 量 随 之 变 大 ， 此 时 最 好 能 提高 自 有 软件 的 单元 测试 覆盖 率 和 接口 、UI 自 动 化 测试 覆盖 率 ， 以 减少 每 
次 对 两 个 产品 做 回归 测试 的 重复 工作 量 。 


四 图 片 轮 播 (carousel) 是 网 站 中 的 常用 功能 ， 用 于 在 有 限 的 网 页 空间 内 展示 一 组 产品 图 片 或 者 照片 ， 同 时 还 有 非常 吸引 人 的 动画 效果 。 


4.2 删除 账号 造成 购买 记录 中 出 现 空白 记录 





最 近 项 目 组 收 到 用 户 反 馈 : 在 某 些 商品 的 购买 记录 中 ， 总 会 出 现 一些 空 白 交 易 记 录 ， 并 且 毫 无 规律 可 循 。 这 个 问题 相当 诡异 ! 








作为 这 部 分 功能 的 测试 负责 人 ， 小 蔡 被 安排 重 现 这 个 问题 。 


小 葡 回 想起 之 前 做 测试 的 时 候 ， 设 计 了 很 详细 的 测试 用 例 ， 而 且 在 整个 测试 过 程 中 ， 并 没有 发 现 这 类 问题 。 





“会 不 会 和 别 的 功能 互相 影响 了 ? ” 老 牛 的 一 句 话 提醒 了 小 蔡 。 


“之 前 测试 的 时 候 对 相关 功能 模块 也 进行 过 回归 测试 ， 没 发 现 问题 啊 ! 难道 是 一 些 特 殊 场景 导致 的 ? ”小 蔡 也 思量 着 。 


1. 用 排除 法 追问 题 的 根 











从 开发 那里 ， 小 蔡 得 知 ， 购 买 记录 和 交易 是 一 起 完成 的 ， 是 一 个 原子 操作 ， 不 会 出 现 交易 没完 成 而 添加 购买 记录 的 情况 。 
交易 记录 为 空 这 种 情况 也 是 不 会 出 现 的 。 











“ 删 和 改 的 测试 好 像 忽 视 了 ， 问 题 会 不 会 在 这 儿 ? ”小 蔡 自 言 自 语 。 增 、 删 、 改 、 查 这 四 大 基本 功 ， 差 点 被 遗忘 。 





对 于 测试 人 员 来 说 ， 针 对 数据 进行 增 、 删 、 改 、 查 是 基本 功 。 小 蔡 忽 然 意识 到 自己 之 前 忽视 了 “ 删 ” 和 “ 改 ” 的 测试 。 

















把 火力 集中 到 测试 “ 删 ” 和 “ 改 ” 时 ， 发 现 购买 记录 页 面 里 并 不 允许 用 户 新 增 任何 信息 ， 只 允许 用 户 查看 当前 信息 ( 见 图 





空白 的 情况 。 





并 且 添 加 购买 记录 之 前 有 逻辑 判断 相应 交易 字段 是 否 为 空 ， 那 么 











4-2) ， 所 以 不 存在 由 于 用 户 对 页 面 信息 的 修改 而 导致 记录 变 成 














宝贝 详情 | 评价 详情 (359) 


代 在 线 客服 








原价 : 139.00 元 ” 拍 下 价格 的 不 同 可 能 会 由 促销 和 打折 引起 的 ， 详 情 可 以 咨询 卖家 。 


买 家 [登录 后 可 见 ] 拍 下 价格 数 里 付 教 时间 


f “3 


2012-02-16 16:29:52 
时时 


1** 旦 


BBVGY 2012-02-16 15;37:46 


| 
鸣 忠 国 


2012-02-16 14;12:59 


b=*=n 


史 中 赎 凰 内 因 2012-02-16 11:03:41 


图 4-2 ”购买 记录 中 没有 用 户 添 加 的 信息 
什么 原因 造成 了 交易 记录 成 为 空白 ? 


2. 重 现 空白 记录 

















款式 和 型 号 


颜色 分 类 ;紫色 ‘IP00121) 


颜色 分 类 :丁香 紫 ‘IP00260) 


颜色 分 类 :天 蓝 (IP00119) 


颜色 分 类 : 红色 (IP00125) 


等 等 ! 有 一 点 小 蔡 确 实 忽略 了 ， 那 就 是 她 在 测试 过 程 中 ， 上 默认 用 户 是 一 直 存 在 的 。 显 然 这 是 一 个 伪 命 题 ， 因 为 用 户 可 以 选择 删除 自己 的 账户 ! 





于 是 ， 小 莹 果断 创建 了 一 条 交易 记录 ， 然 后 利用 系统 提供 的 删除 账户 功能 ， 删 除了 自己 正在 使 用 的 这 个 交易 账户 ， 之 后 再 去 检查 对 应 商品 的 购买 记录 ， 果 然 本 


记录 。 





如 何 避 免 空白 记录 的 产生 呢 ? 





经 讨论 ， 大 家 一 致 认为 可 以 像 网 站 日 志 一 样 ， 保 留 购买 记录 里 用 户 账 号 信息 而 不 真实 删除 ， 当 用 户 删 除 自己 账号 的 时 候 ， 
账号 信息 ， 这 样 就 避免 了 空 记录 的 产生 。 








小 莹 在 这 里 提醒 大 家 : 


1) 做 任何 假设 时 ， 都 需要 严密 考证 假设 条 件 是 否 始终 保持 真实 ; 








诡异 问题 一 一 空白 


阮 





当 


了 


只 是 在 数据 库 的 对 应 字段 中 标记 为 已 删除 ， 而 不 会 真实 删除 这 条 





2) 设计 功能 测试 用 例 时 ， 要 站 在 全 局 的 角度 思考 是 否 有 其 他 功能 与 之 关联 并 且 会 造成 影响 ， 进 而 设计 出 覆盖 更 全 面 的 测试 用 例 。 
就 拿 一 条 商品 信息 的 增 、 删 、 改 、 查 来 说， 如 果 增 加 了 商品 的 信息 ， 测 试 时 就 要 考虑 到 这 条 信息 进行 修改 、 查 询 和 删除 时 功能 是 否 正 确 ; 同 理 ， 如 果 是 删除 商品 的 信息 ， 





否 仍 能 搜索 和 修改 这 条 产品 信息 ， 以 及 是 否 能 按照 同样 的 信息 创建 新 的 商品 。 


尽早 独立 地 通过 日 志 发 现 和 定位 问题 ， 从 而 使 团队 更 快速 地 解决 问题 。 能 力 的 提升 也 能 带 来 更 多 的 交流 ， 比 如 ， 开 发 人 员 好 像 更 


熟练 查看 日 志 可 以 帮助 测试 人 员 摆脱 对 开发 人 员 的 依赖 ， 
愿意 和 这 样 的 人 交流 产品 的 技术 细节 。 
“自动 优化 工作 流程 ”属性 ， 从 而 获得 更 好 的 职业 发 展 。 











作为 一 名 优秀 的 测试 人 员 ， 一 定 要 匹配 “细心 ”属性 、“ 异 想 天 开 ” 属 性 、 


4.3 ”产品 使 用 本 机 时 | 间 造 成 用 户 不 用 付费 


一 般 来 阅 ，Web 产 品 在 进行 日 志 记录 ， 产 品 验证 的 时 候 ， 使 用 的 都 是 服务 器 的 时 间 ， 因 为 这 些 计算 请 求 大 部 分 都 是 在 服务 器 上 运算 得 出 的 。 
E， 这 就 潜藏 着 出 现 异常 的 可 能 性 ， 因 为 用 户 是 





客户 端 软件 由 于 大 部 分 都 没有 服务 器 ， 或 者 服务 器 提供 的 功能 有 限 ， 所 以 绝 大 多 数 运算 和 逻辑 都 是 在 本 机 进行 的 ， 包 括 日 志 记录 和 产品 验 订 
可 以 修改 本 机 时 间 的 ， 如 图 4-3 所 示 。 


Date; 
March 14 2016 


Tirme: 
5:04:45 PM 


[a Change date and time,,, 


Time zone 


(UTC+08:00) Beijing, Chongqing, Hong Kong, Ururndqi 


Change time zone,,, 


Daylight Saving Time is not observed by this time zone, 


Get more time zone Information online 
How dol set the clock and time zoney 





图 4-3 Windows 修 改 本 机 时 间 








服务 器 时 间 和 本 机 时 间 能 让 公司 少 收 钱 。 信 不 信 ? 反正 我 信 了 1! 





公司 的 财务 人 员 告 诉 产品 经 理 ， 财 务 收 到 的 用 户 付费 金额 和 实际 应 该 付费 的 金额 是 不 一 致 的 ， 希 望 开发 团队 能 帮助 定位 问题 。 











小 蔡 和 另 一 名 开发 人 员 一 起 领 了 这 个 任务 ， 通 过 分 析 发 现 ， 金 额 不 一 致 主要 是 源 于 不 同 级别 的 用 户 付 费 ， 更 确切 地 说 ， 在 3 个 月 内 ， 有 2 个 金牌 用 户 并 没有 付费 却 依然 享受 着 金牌 用 户 的 权 


让 


上 


1. 代 码 的 问题 ， 怎 么 会 这 样 














详细 调查 这 两 个 用 户 操作 后 发 现 ， 这 两 个 用 户 缴纳 会 费时 ， 系 统 判断 他 们 的 账户 有 效 期 大 于 当前 日 期 ， 就 在 系统 数据 库 里 插入 了 一 条 数据 ， 让 用 户 在 没有 付费 的 情况 下 仍 保留 金牌 用 户 的 


























通常 这 样 做 也 没有 问题 ， 但 是 这 次 判断 账户 有 效 期 并 没有 以 服务 器 时 间 为 标准 ， 而 是 参照 用 户 浏览 器 中 的 时 间 ， 也 就 是 用 户 本 机 的 系统 时 间 。 通 常 来 说 ， 用 户 的 系统 时 间 会 和 服务 器 系统 
时 间 进 行 同步 。 但 是 不 知道 为 什么 ， 这 两 个 用 户 的 时 间 并 未 同步 ， 而 判断 用 户 有 效 期 时 却 参照 了 用 户 本 机 时 间 ， 使 得 他 们 可 以 继续 享受 金牌 用 户 的 权限 而 不 用 付费 。 





























确定 了 问题 原因 之 后 ， 修 正 就 显得 容易 多 了 。 


2. 老 牛 也 在 时 间 判 断 上 遇 到 过 坑 


小 莹 向 老 牛 汇报 了 这 个 问题 ， 并 牵扯 出 老 牛 刚 工作 时 的 一 段 经 历 。 





早 前 老 牛 测试 某 个 客户 端 软 件 时 ， 也 发 生 过 类 似 问题 。 当 时 老 牛 测试 的 是 授权 软件 ， 有 效 期 一 年 ; 但 是 软件 有 效 期 的 验证 是 在 本 地 完成 的 ， 而 且 是 通过 在 软件 安装 时 生成 一 份 当时 日 期 的 
二 进 制 文 件 ， 之 后 每 次 打开 软件 时 ， 系 统 会 验证 当前 系统 时 间 是 否 比 二 进 制 文件 中 的 初始 时 间 多 一 年 ， 如 果 是 的 话 ， 就 会 提示 用 户 再 次 购买 并 关闭 软件 ; 如 果 不 是 ， 用 户 就 可 以 继续 使 用 。 









































当时 作为 新 手 ， 老 牛 在 测试 中 没有 发 现任 何 问题 让 产品 发 布 了 。 没 想到 用 户 通过 调整 本 机 系统 时 间 ，“ 骗 过 ”软件 验证 代码 ，“ 无 偿 ” 使 用 了 好 几 年 ， 导 致 公司 在 产品 发 布 了 一 段 时 间 
后 ， 用 户 群 扩大 了 ， 收 入 反而 降低 了 不 少 。 更 有 意思 的 是 ， 如 果 本 机 系统 时 间 调 得 太 早 ， 早 于 二 进 制 文件 中 的 初始 时 间 ， 系 统 启动 就 月 溃 了 。 











想起 这 段 往 事 ， 老 牛 不 免 有 点 汗颜 。 做 测试 不 仅 需要 具备 测试 知识 ， 也 需要 了 解 产品 架构 ， 才 能 更 有 效 地 测试 。 
全 提示 “服务 器 和 本 机 时 间 不 一 致 的 原因 如 下 。 

. 如 果 是 非 Mac 电 脑 ， 可 能 是 主板 上 CMOS 电 池 没 电 了 。 

“如果 只 是 日 期 不 对 ， 时 间 正 确 ， 可 能 是 时 区 设置 不 正确 。 

“ 也 有 可 能 是 和 进行 同步 的 服务 器 连接 不 上 ， 或 者 同步 服务 器 有 问题 。 


“ 甚至 有 可 能 是 恶意 软件 造成 的 。 


4.4 注册 和 登录 功能 限制 输入 不 一 致 导 致 功能 错误 



































最 近 有 部 分 用 户 报告 说 无 法 使 用 自己 注册 的 账号 登录 系统 。 但 是 其 他 用 户 的 账号 都 能 正常 使 用 。 导 致 注册 账号 无 法 登录 系统 的 原因 会 是 什么 呢 ? 








1. 小 蔡 的 猜想 


猜想 一 : 会 不 会 是 用 户 没有 注册 成 功 。 








注册 时 ， 对 注册 用 的 邮箱 格式 是 有 要 求 的 : “6 ~ 18 个 字符 ， 可 使 用 字母 数字、 下划线 ， 需 以 字母 开头 ”， 如 图 4-4 所 示 。 





6~18 个 字符 ， 可 使 用 字母 、 数 字 、 下 划 线 ， 需 以 字母 开头 


L 


6~16 个 字符 ， 区 分 大 小 写 


L 


请 再 次 填写 密码 


请 填写 图 片 中 的 字符 ， 不 区 分 大 小 写 ”看 不 清楚 ? 换 张 图 


同意 "服务 条 款 " 和 "隐私 权 相 关 政策 " 


立即 注册 





图 4-4 注册 账户 时 对 于 邮箱 和 密码 的 要 求 
如 果 用 户 邮箱 格式 不 符合 标准 ， 注 册 未 成 功 ， 又 没有 注意 到 错误 提示 ， 使 用 了 没有 注册 的 账号 登录 就 会 导致 这 个 问题 。 
小 蒙 和 开发 人 员 查 看 了 数据 库 用 户 注册 表 ， 结 果 发 现 出 错 用 户 的 账号 信息 ， 在 表 里 是 能 查询 到 的 ， 说 明 这 个 猜想 是 错误 的 。 
猜想 二 : 用 户 记 错 账号 密码 。 
大 家 都 知道 ， 多 数 时 候 密码 是 区 分 大 小 写 的 ( 见 图 4-4) ， 如 果 用 户 使 用 了 大 小 写 错误 的 密码 进行 登录 ， 是 无 法 正常 进入 登录 系统 的 。 


小 葡 使 用 用 户 在 数据 库 表 里 存储 的 密码 进行 登录 ， 显 示 不 能 登录 。 排 除了 用 户 误 操 作 导致 不 能 登录 的 情况 。 





猜想 三 : 尝试 对 比 账号 。 

前 两 种 猜测 都 错误 的 情况 下 ， 小 蔡 换 种 思维 ， 和 开发 人 员 尝 试 与 能 正常 登录 的 账号 进行 对 比 ， 看 能 不 能 从 中 发 现 问题 。 

结果 一 对 比 ， 她 们 发 现 这 个 不 能 登录 的 账号 ， 在 注册 邮箱 中 使 用 了 别 的 账号 所 没有 的 “.” ， 这 个 账号 的 格式 是 “abc.def@webtest.com” ， 而 不 是 通常 的 “abcdef@webtest.com”。 
小 莹 去 除 出 现 登 录 问 题 账号 邮箱 中 的 “.” ， 然 后 进行 注册 和 登录 ， 发 现 能 够 正常 登录 。 看 来 是 这 个 “.” 引 起 的 问题 。 


之 后 开发 人 员 发 现 ， 虽 然 登录 页 面 上 的 输入 框 支 持 输入 “.” ， 但 是 在 处 理 程序 中 ， 为 了 避免 非法 字符 以 及 SQL 注入 等 安全 性 问题 ， 会 自动 过 滤 “.”。 这 就 造成 了 注册 页 面 和 登录 页 面 对 
于 邮箱 地 址 处 理 方式 的 不 一 致 ， 从 而 使 得 有 些 邮箱 包含 “” 的 用 户 不 能 登录 。 


2. 问 题 的 症结 是 找到 了 ， 之 后 呢 


发 现 这 个 问题 之 后 ， 小 蔡 顺 茧 摸 瓜 ， 继 续 对 比 注册 页 面 和 登录 页 面 中 别 的 字段 的 一 致 性 。 又 发 现 了 密码 格式 不 一 致 的 问题 。 


在 注册 页 面 ( 见 图 4-4) ， 可 以 看 到 密码 是 “6 ~ 16 个 字符 ， 区 分 大 小 写 ” 的 ,但 是 在 登录 页 面 ， 却 限制 用 户 输入 密码 不 超过 20 位 。 虽 然 正常 使 用 情况 下 不 会 产生 问题 ， 但 是 却 可 能 产生 
安全 性 风险 一 一 让 非法 用 户 通过 多 输入 2 位 字符 导致 产生 系统 问题 。 





顺 着 这 种 思路 深 挖 ， 小 药 又 发 现在 用 户 修改 密码 的 页 面 上 ， 对 于 密码 是 没有 长 度 限制 的 。 也 就 是 说 用 户 在 正常 注册 之 后 ， 通 过 修改 密码 为 超过 20 位 的 字符 的 话 ， 就 再 也 不 能 成 功 登录 了 ; 
或 者 只 需要 通过 输入 密码 的 前 20 位 就 可 以 进行 登录 。 无 论 哪 种 情况 ， 都 不 是 用 户 预期 的 系统 行为 ， 都 是 需要 修正 的 。 











根据 小 蔡 发 现 的 这 个 问题 ， 老 牛 组 织 了 一 次 大 排查 ， 把 系统 内 部 关联 字段 的 长 度 都 进行 了 对 比 ， 针 对 发 现 的 不 一 致 的 情况 ， 都 进行 了 修正 ， 确 保 系统 功能 在 复杂 的 交互 情况 下 保持 正常 。 


@ 术 x0 特殊 字符 


一 般 在 测试 输入 框 的 时 候 ， 测 试 人 员 都 需要 测试 输入 框 中 输入 特殊 字符 时 的 行为 是 否 符合 预期 。 这 个 时 候 我 们 常用 的 特殊 字符 ， 除 了 键盘 上 能 输入 的 符号 信息 ， 还 需要 包括 以 下 一 些 类 型 
的 特殊 字符 。 


1) 空格 ; 
2) 货币 符号 : 天竺 等 ; 


3) 教学 符号 : ~ 二 了 等 


4) 非 英语 的 字母 语言 字符 : ii 等 ; 

5) 中 文 (全 角 ) 标点 符号 : ，。 () 等 ; 
6) 特殊 的 汉字 : 圆 轿 等 ; 

7) 转 义 序列 : \n,，\t，\t，\” 等 ; 


8) 转 义 字符 : &gt; ，&lt; 等 ; 
9) 系统 保留 字符 : null，NULL 等 ; 
10) SQL 语句 : ”OR ‘1”=”1 等 ; 


11) 脚本 函数 : <script>alter ( “abc”) </script> 等 。 


4.5 复制 图 片 可 以 绕 过 对 添加 图 片 大 小 、 数 量 、 格 式 的 限制 


























商品 展示 页 面 给 商家 用 户 提供 了 一 个 富 文本 编辑 器 ， 用 这 个 编辑 器 可 以 制作 生动 的 商品 展示 页 面 。 既 然 是 富 文本 编辑 器 ， 又 是 用 来 展示 商品 的 ， 添 加 图 片 的 功能 自然 是 不 可 少 的 。 编 辑 器 
对 图 片 的 大 小 、 数 量 和 格式 都 有 限制 ， 例 如 单 张 图 片 不 能 超过 1MB， 图 片 不 能 超过 10 张 ， 格 式 只 能 是 JPG、PNG 或 GIF， 否 则 是 不 能 添加 的 。 
































由 于 商品 展示 页 图 片 多 ， 限 制图 片 大 小 和 数量 ， 这 样 不 仅 能 大 大 缓解 服务 器 存储 空间 的 压力 ， 也 能 加 速 用 户 的 读 取 速 度 ， 并 且 可 以 避免 商家 用 户 不 经 转换 直接 上 传 BMP 等 格式 的 图 片 。 




















小 莹 在 执行 测试 用 例 时 没 发 现 问题 ， 接 着 又 通过 探索 性 测试 检查 语文 本 编辑 器 的 图 片 功能 。 























小 葡 觉 得 富 文本 编辑 器 和 邮件 编辑 器 是 类 似 的 ， 都 可 以 编辑 文字 、 设 置 格式 、 添 加 图 片 等 。 而 当前 主流 的 Web 邮 件 客户 端 都 可 以 执行 拖 遇 操 作 和 复制 操作 ， 那 这 个 使 用 第 三 方 库 的 富 文本 
编辑 器 是 不 是 也 支持 这 些 功 能 呢 ? 


























果然 这 个 编辑 器 是 支持 拒 忠 和 复制 操作 的 ! 并 且 小 蔡 发 现 : 








1) 拖 鬼 进入 富 文 本 编辑 器 的 图 片 ， 行 为 和 普通 图 片 添加 进 编辑 器 中 相同 ， 也 会 有 大 小 、 数 量 和 格式 的 限制 |; 
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2) 复制 到 富 文本 编辑 器 的 图 片 ， 也 就 是 从 其 他 的 编辑 器 甚至 网 页 中 复制 图 片 ， 再 粘贴 到 编辑 器 中 ， 会 突破 富 文本 编辑 器 对 于 











片 的 所 有 限制 。 




















如 果 不 符合 规范 的 图 片 可 以 上 传 ， 是 否 能 够 成 功 发 布 呢 ? 





小 莹 继续 提交 了 对 商品 详情 页 面 的 创建 和 修改 ， 结 果 成 功 地 发 布 了 这 个 不 符合 限制 的 图 片 商品 。 























复制 图 片 和 拖 抱 图 片 究竟 有 什么 不 同 ” 小 蔡 通 过 Chrome 的 开发 者 工具 查看 了 复制 图 片 提交 时 的 请 求 ， 发 现 复制 的 图 片 是 作为 POST 请 求 中 请 求 体 进行 提交 的 ， 所 以 图 4-5 所 示 的 请 求 体 的 
长 度 会 很 长 ， 甚 至 达到 几 十 MB。 
































Request URL: https:// 
Request method: POST 
Remote address: 

Status code: 入 302 Found 


Version: HTTP/1.1 
Q_Filter headers 


pb Response headers (0.449 KB) 


pb Request headers (0.813 KB) 


vw Request headers from upload stream (0.118 KB) 


Content-Type: "multipart/form-data; boundary=- 
Content-Length: "443997" 


图 4-5 复制 的 图 片 会 被 当 作 POST 请 求 的 内 容 发 送 给 服务 器 
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而 当 图 片 作为 附件 或 者 拖 钨 到 富 文 本 编辑 器 中 提交 时 ， 浏 览 器 会 把 文本 内 容 和 图 片 的 请 求 分 开 ， 产 品 代码 对 于 文本 内 容 的 大 小 没有 限制 ， 而 对 于 每 个 图 片 的 请 求 则 限制 在 1.5MB (考虑 到 
还 有 一 些 附 加 信息 ) 。 

















由 于 产品 代码 没有 办 法 对 文本 内 容 请 求 体 中 通过 Base64 编 码 的 图 片 进行 限制 ， 所 以 通过 复制 图 片 创建 的 商品 页 面 可 以 成 功 提交 。 





对 于 这 个 问题 ， 大 家 协商 后 ， 一 致 认为 用 户 可 以 通过 复制 的 方式 添加 图 片 ， 但 是 还 需要 对 图 片 的 大 小 进行 限制 ， 而 采用 的 方法 是 通过 对 文本 内 容 的 请 求 加 上 限制 来 解决 。 由 于 文本 内 容 本 
身 并 不 大 ，10 张 图 片 的 大 小 为 10MB， 所 以 对 文本 内 容 的 限制 设 定 为 15MB。 


























虽然 这 种 方式 缺少 了 对 每 一 张 图 片 大 小 的 限制 ， 但 保证 了 图 片 总 体 不 会 太 大 ， 而 且 大 部 分 用 户 还 是 会 通过 富 文本 编辑 器 提供 的 添加 图 片 功能 进行 操作 的 。 




















Or 展 知识 “Base64 编 码 


不 同 的 服务 器 交互 方式 和 压缩 比率 以 及 安全 级 别 决定 了 传输 内 容 的 编码 方式 。 如 果 我 们 在 测试 过 程 中 了 解 了 不 同 编码 方式 的 特点 ， 就 可 以 对 传输 中 出 现 的 奇特 问题 多 一 种 思考 的 角度 ， 从 
而 更 好 地 分 析 和 定位 问题 。 


Base64 是 一 种 基于 64 个 可 打印 字符 来 表示 二 进 制 数据 的 方法 。 之 所 以 有 Base64 编 码 是 因为 在 互联 网 早期 ， 邮 件 只 支持 可 见 字符 的 传送 ， 但 是 像 图 片 二 进 制 流 的 每 个 字 节 不 可 能 全 部 是 可 见 
字符 ， 所 以 就 传送 不 了 。 因 此 最 好 的 解决 方法 就 是 在 不 改变 传统 协议 的 情况 下 ， 做 一 种 扩展 方案 来 支持 二 进 制 文件 的 传送 ， 把 不 可 打印 的 字符 也 用 可 打印 字符 来 表示 ， 问 题 就 解决 了 。 由 于 26 
等 于 64， 所 以 每 6 个 比特 为 一 个 单元 ， 对 应 菜 个 可 打印 字符 。 三 个 字 节 有 24 个 比特 ， 对 应 4 个 Base64 单 元 ， 即 3 个 字 节 需要 用 4 个 可 打印 字符 来 表示 。 它 可 用 来 作为 电子 邮件 的 传输 编码 。 在 
Base64 中 的 字符 包括 字母 A~Z、a~z、 数 字 0~9、 十 和 /， 共 64 个 字符 。 


Base64 常 用 在 处 理 文本 数据 的 场合 ， 表 示 、 传 给、 存储 一 些 二 进 制 数据 ， 包 括 MIME 的 email、 在 XML 中 存储 复杂 数据 。 


4.6 小 结 


本 章 我 们 介绍 了 由 于 对 需求 理解 不 全 面 或 者 不 透彻 造成 的 功能 测试 问题 ， 所 以 这 就 要 求 我 们 在 测试 某 一 特定 功能 的 时 候 ， 对 产品 的 全 景 有 深入 的 了 解 ， 这 样 才能 清晰 地 了 解 到 当前 的 功能 
对 于 已 有 其 他 功能 的 影响 ， 以 及 我 们 需要 如 何 设计 测试 来 确保 改动 没有 造成 Bug。 





























第 5 章 ”安全 性 测试 








安全 问题 一 直 是 重 中 之 重 ， 

















每 个 老板 都 知道 信息 安全 对 公司 的 重要 性 。 然 而 一 些 公司 却 仍然 把 安全 放 在 软件 需求 的 最 底层 ， 相 比 之 下 公司 更 关心 系统 功能 的 完整 性 ， 以 及 如 何 灵 活 、 快 速 
修复 问题 和 如 何 通过 降低 成 本 去 交付 系统 。 











据 发 布 的 数据 表 





月 ， 网 易 、 携 程 等 大 公司 都 曾 纷纷 在 安全 方面 中 招 ， 损 失 惨 导 





丰 ， 安 全 性 测试 才 重 新 被 大 家 重视 起 来 。 





虽然 著名 的 软件 安全 社区 OWASP (https://www.owasp.org/index.php/Main_Page) 每 次 发 布 的 TOP10 RISK 的 各 项 内 容 几乎 都 没有 出 现 特别 习 
的 的 确 是 一 道道 高 门 坎 儿 一 一 安 


同 女 . 























看 大 的 变更 ， 然 而 摆 在 普通 测试 人 员 面 前 
性 测试 的 特点 是 上 手 难度 相对 较 高 ， 对 测试 人 员 相关 知识 的 要 求 包含 到 了 源码 分 析 、 数 据 库 、 操 作 系统 、 协 议 等 方方面面 。 




















本 章 的 几 个 小 故 寻 





有 ， 将 通过 实例 展示 一 些 容易 发 生 安全 问题 的 点 ， 以 及 如 何 简单 、 快 速 地 发 现 它们 。 


5.1 ”链接 格式 暴露 安全 隐患 





小 蔡 目 前 负责 测试 工资 系统 ， 这 个 系统 不 仅 公司 内 部 会 使 用 ， 而 且 还 会 有 面向 其 他 大 客户 的 定制 版 。 由 于 工资 系统 的 特殊 性 ， 除 了 注重 其 
的 指标 。 
































在 使 用 时 的 功能 性 ， 系 统 安全 性 也 是 一 个 很 如 





烟 

















为 了 让 系统 更 加 安全 可 靠 ， 业 务 分 析 人 员 在 项 目 初始 就 为 系统 设计 了 短信 动态 密码 ( 见 图 5-1) 和 动态 虚拟 键盘 的 功能 ( 见 
工资 系统 内 部 注册 时 绑 定 过 手机 号 ， 并 在 登录 时 通过 手机 获取 短信 动态 密码 ， 然 后 使 用 动态 














于 5-2) ， 使 得 系统 在 用 户 登录 时 就 能 验证 用 户 的 身份 。 只 有 在 
虚拟 键盘 输入 自己 设 定 的 登录 密码 之 后 ， 用 户 才能 访问 工资 系统 。 


< 信息 1069068140 详细 信息 





笨 信 /彩信 
Mon, Mar 14, 17:35 


您 注册 的 验证 码 为 


1847， 有 效 期 10 分 钟 ， 请 填写 验证 
码 完成 注册 。 





图 5-1 短信 动态 密码 


alwlslajrlylullole 
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图 5-2 动态 虚拟 键盘 


所 以 ， 在 用 户 登录 这 部 分 功能 上 小 蔡 设 计 了 不 少 安全 性 测试 用 例 ， 例 如 SQL 注 入 ， 跨 站 攻击 等 。 但 是 通过 测试 发 现 这 些 都 被 系统 防范 住 了 。 小 蔡 本 以 为 安全 测试 做 的 算是 全 面 了 ， 但 是 当 
测试 到 发 现 URL 具 有 www.xyz.com/user/123456 的 模式 时 ， 她 好 奇 地 通过 算 改 URL 最 后 的 用 户 ID， 期 望 系统 能 告知 她 无 访问 权限 。 可 是 没 想到 却 查 看 到 了 另 一 个 用 户 的 信息 ， 她 倒 吸 一 口 冷 
气 ， 庆 幸 是 在 测试 环境 上 ， 要 不 然 ， 一 旦 这 个 缺陷 上 线 ， 因 为 企业 内 部 的 工 号 都 是 连续 的 ， 只 要 有 人 有 耐心 ， 就 可 以 让 所 有 人 的 工资 信息 都 曝光 。 














小 蔡 意 识 到 不 仅 是 自 改 用 户 1D 会 有 问题 ， 系 统 的 URL 模 式 也 可 能 会 有 更 大 的 问题 。 因 为 普通 用 户 的 URL 是 www.xyz.com/user/123456， 而 系统 管理 员 的 URL 
是 www.xyz.com/admin/654321， 最 后 几 位 也 是 工 号 。 因 为 管理 员 是 可 以 看 所 有 人 的 工资 信息 的 ， 也 就 是 说 ， 要 是 有 人 使 用 www.xyz.com/admin/123456， 他 可 能 会 被 认为 是 管理 员 ， 从 
而 看 到 所 有 人 的 工资 信息 。 小 蔡 带 着 这 个 问题 进行 了 尝试 ， 果 真 普通 用 户 通 过 改动 URL 可 以 获得 管理 员 的 权限 以 查看 所 有 人 的 工资 。 也 就 是 说 ， 系 统 只 是 在 登录 时 作 了 严格 的 安全 性 检测 ,但 
是 对 于 登录 之 后 的 用 户 权限 却 丝毫 没有 考虑 。 






























































小 莹 马上 把 这 一 发 现 通知 项 目 经 理 ， 经 过 沟通 ， 这 个 缺陷 被 定义 成 高 优先 级 和 高 风险 。 然 后 ， 整 个 开发 团队 在 第 一 时 间 修 复 了 这 个 严重 的 缺陷 。 








好 奇 心 没有 害 死 猫 ， 反 而 帮助 小 蔡 在 测试 中 发 现 了 一 个 隐藏 的 重大 安全 性 缺陷 。 小 蔡 也 意识 到 ， 一 个 系统 的 安全 性 ， 并 不 单纯 来 自 于 防范 系统 外 部 的 入 侵 ， 还 需要 严格 审视 系统 内 部 的 安 
全 性 漏洞 。 系 统 内 外 部 的 安全 性 是 一 体 的， 都 需要 全 面 地 设计 。 











区 











开发 人 员 沿 用 小 蔡 的 测试 思路 ， 还 发 现在 用 户 向 服务 器 发 送 请 求 的 时 候 ， 会 附带 自己 在 产品 上 的 注册 ID， 服 务 器 也 会 根据 这 个 注册 ID 返回 相应 的 结果 ( 见 





5-3) 。 





lame x Headers Preview Response Cookies Timing 


track?category=TenancyDatabaseC _,  v General 


Inde 下 ad=2564551e=amsx4oexa Request URL: https:// /ams/NtdConnect/indexflid=25645514e=anss40exanple. comka=3000 
e Request Method: 6ET 
collectpv=1&_v=j41&a=27963151 Status Code: @ 200 OK 


28acd7354b?7a=4006655&v=892 Remote Address: 


vResponse Headers view source 
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 
Connection: keep-alive 
Content-Type: text/htmti chorset=UTF-8 
Date: Fri, 25 Mar 2016 05:56:82 GMT 
Expires: Thu, 19 Nov 1981 608:52:00 CMT 





图 5-3 用户 请 求 中 包含 注册 ID 信息 
通过 注册 ID 的 格式 很 容易 就 可 以 看 出 注册 ID 也 是 递增 的 ， 所 以 有 恶意 的 用 户 可 以 通过 修改 这 个 注册 ID 来 获取 别 的 用 户 的 信息 。 当 然 ， 这 个 缺陷 也 在 上 线 之 前 被 及 时 修复 了 。 
全 二 展 40iRG@ 动态 虚拟 键盘 


动态 庶 拟 键盘 可 以 在 一 定 程度 上 防止 别人 偷 鹤 ， 也 可 以 防止 后 台 黑 客 软件 和 远程 监控 软件 的 截图 获取 密码 ， 一 般 此 类 攻击 软件 获得 的 动态 虚拟 键盘 截图 会 显示 成 一 片 黑色 ， 让 监视 者 无 法 
看 到 键盘 的 点 击 位 置 。 





ORRe sa 入 


目前 很 多 软件 系统 使 用 了 关系 型 数据 库 ，SQL 注 入 是 攻击 关系 型 数据 库 很 常见 的 手段 之 一 。 其 过 程 是 黑客 输入 特殊 构思 的 数据 ， 而 后 台 系 统 没有 对 输入 数据 做 严格 的 校 验 ， 并 执行 了 这 些 
数据 ， 黑 客 可 能 会 达到 操作 后 台 服务 器 和 数据 库 的 目的 。 


人 @5RniR@ URL 自 改 





(1) 非法 获取 资源 
例如 “http://www.ceshijiongshi.com/al.rat” 的 URL 会 下 载 网 站 中 名 为 al.rar 的 文件 ， 如 果 用 户 知 道 或 猜 中 了 其 他 文件 ， 特 别 是 网 站 数据 库 文件 的 URL， 其 后 果 不 堪 设 想 。 
(2) 非法 使 用 URL 提 供 的 服务 


例如 这 个 URL 中 : http://www.ceshijiongshi.com/private.jsp?usenamer 二 user1& email=mypetsonal(@ceshijiongshi.com， 可 以 将 用 户 user1 的 登录 密码 发 送 到 邮箱 mypersonal@ceshijiongshi.com 中 。 攻 
击 者 可 能 会 自 改 成 为 : http://www.ceshijiongshi.com/private.jsp?user=user2&mypersonal(@ceshijiongshi.com， 在 设计 不 够 严谨 的 系统 中 ， 可 轻松 获取 用 户 user2 的 登录 密码 。 


(3) SQL 语句 注入 


攻击 者 可 能 把 精心 构造 的 SQL 语句 作为 参数 ， 来 绕 过 设计 不 严谨 的 系统 ， 达 到 操作 后 台 系 统 和 数据 库 的 目的 ， 例 如 在 登录 模块 使 用 http://www.ceshijiongshi.com/login.jsp? 
passwotrd=888888， 黑 客 可 以 把 888888 换 成 SQL 注入 需要 的 数据 进行 攻击 。 


以 上 三 种 都 是 由 于 URL 可 签 改造 成 的 ， 需 要 我 们 对 此 类 问题 加 以 重视 并 及 时 修复 。 


5.2，” 细 齐 如 何 用 OWASP TOP 10 补 “ 洞 " 





互联 网 始 于 1969 年 的 美国 ， 最 早 用 于 军事 连接 。 经 过 半 个 世纪 的 发 展 ， 互 联网 逐渐 商业 化 ， 主 要 功能 有 通讯 、 社 交 、 网 上 贸易 、 云 端 化 服务 、 资 源 的 共享 化 、 服 务 对 象 化 。 网 页 应 用 安全 
备 受 重视 ， 成 为 安全 领域 的 一 个 热门 话题 。 























这 些 年 来 ，OWASP TOP 10 在 确定 重大 风险 方面 功 不 可 没 。 企 业 及 广大 开发 测试 人员， 不 仅 需要 培养 风险 意识 ， 测 试 和 修复 应 用 程序 ， 还 需要 懂得 应 用 程序 的 安全 风险 管理 。 





OWASP TOP 10 列 出 了 10 个 最 关键 的 Web 应 用 安全 风险 ， 并 为 每 个 风险 提供 一 个 描述 ， 例 如 漏洞 、 攻 击 ， 并 指导 如 何 避 免 。 


小 莹 与 OWASP TOP 10 的 第 一 次 接触 。 最 近 ， 小 蔡 又 有 新 任务 了 ， 这 次 是 关于 项 目 安全 方面 的 测试 。 于 她 而 言 ， 这 是 一 个 全 新 的 挑战 ， 安 全 问题 琐碎 零散 ， 老 牛 早早 提 点 她 : 参考 
OWASP TOP 10。 在 仔细 了 解 后， 小 蔡 便 把 OWASP TOP 10-2013 作 为 指导 这 次 安全 测试 的 Checklist， 如 图 5-4 所 示 。 











OWASP TOP 10-2013 究 竟 会 给 小 蔡 的 工作 带 来 哪些 指导 呢 ? 


OWASP TOP 10 -2013 (新 版 ) 


A2 一 失效 的 身份 认证 和 会 话 管理 
A3 一 跨 站 脚本 (XsS) 

A4 一 不 安全 的 直接 对 象 引用 
A5 一 安全 配置 错误 

A6 一 敏感 信息 泄漏 

A7 一 功能 级 访问 控制 缺失 

A8 一 跨 站 请 求 伪 造 〈CSRF ) 

A9 一 使 用 含有 已 知 漏洞 的 组 件 
A10 一 未 验证 的 重 定向 和 转发 





图 5-4 OWASPTOP 10-2013 版 


注入 
※ 可 利用 性 : ”容易 
※ 普 遍 性 : ”常见 
※ 可 检测 性 : ”居中 
※ 影 响 : ”严重 
注入 类 风险 除了 SQL 注入 的 安全 漏洞 外 ， 还 包括 LDAP 注 入 、ORM 注 入 以 及 命令 注入 等 攻击 方式 。 


小 蔡 在 纸 上 简 单 罗列 了 下 : SQL 注入 、LDAP 注 入 、ORM 注 入 、XML 注 入 、XPath 注 入 、IMAP/SMTP 注 入 、 代 码 注 入 和 命令 行 注入 ， 列 完 只 看 了 一 眼 ， 小 蔡 的 头 就 开始 疼 了 。 照 她 这 样 
呆 头 呆 脑 挨个 查 下 去 ， 不 知道 得 多 久 ， 无 奈 之 下 小 蔡 跑 去 找 老 牛 。 


老 牛 建议 : 先 判 断 项 目 中 注入 漏洞 是 否 存 在 ， 以 及 注入 漏洞 的 类 型 ， 然 后 根据 判断 结果 进行 相应 测试 ， 选 择 手动 或 借助 工具 。 
小 蒙 分析 结果 如 表 5-1 所 示 。 
如 何 分 析 注 入 漏洞 是 否 存 在 ?确认 数据 进入 解释 器 前 ， 已 经 明确 地 将 不 可 信和 数据 从 命令 语句 或 查询 语句 中 分 离 出 来 。 


思考 : 如 何 有 效 防止 注入 漏洞 ? 


分 类 是 否 检测 
ae mtes 项 目 里 一 个 登录 组 件 在 后 
LDAP 注 人 
和 系统 后 台 均 未 涉及 此 类 注 


XPath 注入 


系统 中 发 送 邮 件 功能 使 用 


IMAP/SMTP 注 》 i 
: 可 以 被 公开 访问 ， 


le /\ 
ZN 


代码 注入 
命令 行 注 人 


与 开发 人 员 


2. 失 效 的 身份 认证 和 会 话 管理 





※ 可 利用 性 : ”居中 


※ 普 遍 性 : ”广泛 





x※ 可 检测 性 : ”居中 
严重 


描述 这 点 之 前 ， 我 们 先 来 看 两 个 经 常会 发 生 在 我 们 身边 的 例子 。 


-起 Review J 


分 析 依 据 
台 使 用 了 MySQL 关 3 


系 开 


刀 S 二 


数据库 


人 需 要 的 关键 技 术 


属于 公司 内 部 的 URL， 此 URL 对 外 开放 。 虽 然 


但 具体 使 用 的 邮件 服务 未 暴露 


去 


ii 目 源 代码 ， 判 断 出 系统 中 没有 这 两 种 类 型 的 注 和 人 





【 例 1】 如 今 多 数 使 用 电脑 的 人 都 有 网 上 订 票 或 者 网 购 的 经 历 。 当 票务 预订 或 网 购 应 用 程序 支持 URL 引 


过 程 中 就 会 暴露 自己 的 





SessionID， 别 人 打开 链接 后 便 可 以 使 用 用 户 信息 。 








【 例 2】 用 户 浏览 网 页 ， 一 不 小 心 退 出 了 ， 当 再 次 进入 时 ， 仍 需 输 入 用 户 信息 进行 用 户 身份 识别 。 





保护 用 户 凭证 和 防止 会 话 1D 被 劫持 显得 尤为 重要 。 系 统 中 涉及 隐私 数据 相关 的 模块 ， 如 登录 、 退 出 、 
需 查看 密码 等 敏感 信息 在 被 数据 库存 储 前 是 否 被 加 密 。 一 旦 这 些 地 方 存在 




















小 蔡 确 定 了 在 测试 系统 中 涉及 隐私 信息 的 模块 一 一 注册 和 登录 ， 并 对 这 两 个 模块 进行 了 详细 检查 。 





1) 这 两 块 功能 都 使 用 了 HTTPS 加 密 ， 保 证 了 认证 过 程 的 安全 性 。 





2) 系统 所 有 的 URL 中 没有 使 用 Session1D 的 地 方 ， 




















3) 系统 对 于 存储 在 浏览 器 本 
作 。 


也 的 Cookie 有 过 期 失效 机 制 ， 比 如 ， 当 用 户 在 公用 电脑 上 登录 后 却 没有 


除 此 之 外 ， 小 蔡 还 发 现 数据 库 中 的 密码 已 经 被 加 密 存 储 ， 不 禁 给 细心 的 开发 人 员 点 了 一 个 大 大 的 赞 。 


3. 跨 站 程序 脚本 攻击 





※ 可 利用 性 : 
※ 可 检测 性 : ”容易 


※ 影 响 。 中 等 





跨 站 程序 脚本 攻击 (XSS) 是 
者 对 访问 者 进行 病毒 侵害 的 一 种 攻击 方式 。 








XSS 是 最 普遍 的 Web 应 月 局 洞 类 型 。 





安全 漏洞 。 有 以 下 三 种 已 知 的 跨 站 
1) 存储 式 。 

2) 反射 式 。 

3) 基于 DOM 的 XSs。 


大 部 分 跨 站 脚本 
本 漏洞 检测 和 开发 框架 。 








用 它 来 扫描 项 目 网 站 ， 使 用 方法 如 下 : 使 月 


局 洞 通过 测试 或 代码 分 析 很 容易 就 能 找到 ， 但 X99 需 要 考虑 的 场景 很 多 ， 老 牛 给 小 蔡 推 荐 了 一 款 测试 工具 一 Xenotix XSS Exploit Framework， 它 是 


有 类似 示例 的 URL 进 行 XSS 测 试 ， 需 要 把 URL 中 的 变量 替换 成 [X]。 


看 写 ， 当 用 户 把 包含 Session1D 的 URL 转 发 给 别人 时 ， 在 这 个 








超时 、 记 住 我 、 密 码 管理 、 保 密 问题 、 账 户 更 新 等 ， 都 需要 进行 查看 。 与 此 同时 ， 还 


局 洞 ， 那 么 很 可 能 会 导致 部 分 甚至 全 部 用 户 账户 遭 破坏 ， 从 而 产生 不 利 影响 。 


不 会 发 生 用 户 截屏 时 误 把 Session1D 传 给 第 三 方 黑客 的 可 能 








该 月 





进行 退出 登录 操作 ， 这 个 机 制 可 以 有 效 地 防止 其 他 人 继续 使 用 该 用 户 的 账户 进行 操 











旨 攻击 者 利用 网 站 程序 对 用 户 输入 过 滤 不 足 ， 输 入 可 以 显示 在 页 面 上 对 其 他 用 户 造成 影响 的 HTML 代 码 ， 从 而 盗 取 用 户 资料 、 利 用 用 户 身份 进行 某 种 动作 或 





一 种 先进 的 跨 站 肢 





这 样 容易 确定 攻击 注入 点 的 坐标 ， 示 例如 下 所 示 。 


例如 : http://www.weekness test.com/[X]/type-[X]-[X]-between-[X]-[X]-in-[X]/list-[X]? minArea=[X]&maxArea=[Xl&nearbySuburb=[X]&autosuggest=[X] 





Xenotix XSS Exploit Framework 工 具 会 使 用 上 面 的 URL 分 别 在 三 大 沪 








但 是 小 蔡 认 为 ， 要 达到 全 面 履 盖 ， 必 须 在 自动 监测 的 基础 上 ， 同 时 采用 人 工 代码 审核 和 手动 渗透 测试 。 要 防止 XSSj 


要 靠 大 家 自己 深 挖 了 。 


4. 不 安全 的 直接 对 象 引 用 


※ 可 利用 性 : ” 容易 


※ 普 遍 性 : ”常见 


※ 可 检测 性 : ”容易 


光影 响 : ”中 等 




















览 器 引擎 (Trident、Webkit 和 Gecko) 中 进行 XSS 注 入 攻击 。 














局 洞 ， 需 要 将 不 可 信 的 数据 与 动态 浏览 器 内 容 区 分 开 。 至 于 如 何 做 ,就 


不 安全 的 直接 对 象 引用 是 指 一 个 已 经 授权 的 用 户 ， 通 过 更 改 URL 的 一 个 参数 ， 访 问 到 原本 未 经 授权 的 对 象 。 这 里 需要 考虑 系统 的 用 户 类 型 ， 以 及 所 有 用 户 访问 权限 是 否 一 致 。 





举 个 例子 ， 开 发 者 将 数据 库 记 录 主 键 ID 作为 URL 的 一 部 分 暴露 给 用 户 ， 可 能 被 一 些 人 利用 并 进行 恶意 操作 ， 用 户 可 以 通过 猜测 主键 ID 并 修改 URL， 查 看 到 其 他 用 户 的 个 人 信息 。 


小 蒙 考虑 到 ， 目 前 项 目 涉及 用 户 隐 私 的 功能 点 包括 : 


1) 个 人 账户 信息 。 
2) 个 人 订阅 的 产品 列表 。 


3) 个 人 保存 的 搜索 条 件 。 











正常 来 讲 ， 当 有 用 户 尝试 删除 其 他 用 户 订阅 的 产品 列表 ， 后 台 服 务 器 应 该 是 拒绝 请 求 的 ， 只 有 查阅 和 























而 手头 这 个 项 目 ， 小 蔡 通 过 手动 修改 个 人 订阅 产品 URL 中 的 itermld 和 bookm-arkld， 成 功 地 将 其 他 月 








这 一 发 现 被 开发 人 员 及 时 修复 了 。 其 他 两 个 功能 点 “个 人 账户 信息 ”和 “个 人 保存 的 搜索 条 件 ” 在 程序 后 台 做 了 限制 。 











在 防止 不 安全 的 直接 对 象 引 用 漏洞 上 ， 我 们 需要 使 用 一 个 


5. 安 全 配置 错误 


※ 可 利用 性 : ” 容易 


※ 普 遍 性 : ”常见 


※ 可 检测 性 : ” 容易 


※ 影 响 : ”中 等 


一 般 来 说 ， 安 全 配置 错误 ,会 使 攻击 者 访问 一 些 未 经 系统 授权 的 数据 和 功能 。 





在 一 个 应 用 程序 中 ， 可 以 发 生 安全 配置 错误 的 点 有 很 多 : Web 服 务 器 、 应 用 服务 器 、 系 统 框架 各 个 层面 。 














宇 


除 




















老 牛 提醒 小 蔡 ， 这 个 项 目 主 要 是 检查 系统 会 不 会 存在 错误 的 系统 安全 配置 、 系 统 默 认 用 户 以 及 不 必要 的 








这 一 块 风险 的 可 检测 性 是 相当 容易 的 。 因 此 小 蔡 几 乎 没 怎么 费力 气 就 检测 完成 了 ， 自 动 扫描 器 


什么 情况 下 会 易 受 攻击 呢 ? 


1) 默认 账户 的 密码 是 否 没有 被 修改 。 





2) 是 否 有 软件 没有 被 及 时 更 新 ， 包 括 操 作 系统 、Web 服 务 器 、 数 据 库 软件 等 。 























3) 是 否 对 外 暴露 了 不 必要 的 端口 、 权 限 等 。 


4) 使 用 的 开发 框架 或 者 Web 服 务 器 的 安全 配置 是 否 理解 正确 并 配置 恰当 。 


6. 防 止 敏感 信息 泄露 


※ 可 利用 性 : ” 难 


※ 普 遍 性 : ”少见 





※ 可 检测 性 : ”居中 


※ 影 响 : ”严重 


关于 敏感 数据 ， 诸 如 银行 卡号 、 身 份 验证 











四 人 4 
是 个 和 














在 防止 敏感 信息 泄露 上 ， 首 先 需要 确认 


了 些 是 敏感 数据 。 该 加 密 的 数据 不 加 密 ， 是 这 一 块 最 常见 的 ) 








凭据 、 医 保 卡 、 各 类 密码 等 ， 都 是 需要 被 程序 密切 保护 的 。 这 些 信息 


自己 的 才 可 以 被 允许 。 





户 订阅 的 产品 列表 删除 。 





肛 务 ， 等 等 。 


恨 好 的 帮手 。 





局 洞 。 敏 感 数据 需要 做 额外 的 保护 ， 丸 


适当 的 方法 来 保护 每 个 用 户 的 访问 对 象 ， 彻 底 做 到 使 用 户 “ 不 在 其 位 ， 不 谋 其 政 ”。 


比如 : 通过 上 默认 账户 、 未 安装 补丁 的 漏洞 、 未 被 保护 的 文件 和 目录 等 ， 对 系统 进行 访问 。 


的 窃取 和 算 改 ,会 给 用 户 带 来 财产 损失 及 相应 的 麻烦 。 





0 存放 和 传输 过 程 ， 以 及 与 浏览 器 的 交换 过 程 。 


小 蔡 现 在 要 考虑 的 是 项 目 中 的 敏感 数据 和 这 些 数 所 





居 的 备份 都 有 哪些 人 可 以 访问 。 理 清 思 路 后 ， 





1) 系统 的 HTTP 404 Not Found 页 面 上 ， 有 暴露 任何 服务 器 IP、 端 口 




















学 


2) 系统 的 HTTP 500 Error 页 面 上 ， 会 不 会 显示 出 程序 后 台 异 常 堆栈 信息 ? 



































3) 修改 指向 具体 文件 的 URL 到 它 的 上 一 层 目录 ， 是 否 会 显示 出 目录 中 的 所 有 文件 ? 


、 文 件 名 和 文件 路 径 等 信息 


小 蔡 带 着 以 下 几 点 疑问 





展开 了 又 一 轮 的 安全 测试 。 








吗 ? 


比如 ， 把 http://www.weekness test.com/myproject-assets/css/main-1244db99.css 修 改 为 : http://www.weekness test.com/myproject-assets/css/。 这 样 不 能 显示 出 css 目 录 下 


的 所 有 文件 。 





4) 注册 和 登录 页 面 有 没有 使 用 HTTPS 加 密 方式 ? 

















5) 系统 的 日 志 查 询 平台 Splunk 中 会 不 会 查询 到 一 些 密码 等 敏感 信息 ? 











6) 浏览 器 本 地 存储 的 Cookie 信 息 中 是 否 包含 任何 用 





户 敏感 信息 ? 

















没有 暴露 任何 服务 器 信息 ? 

















7) 网 页 的 Response 人 信息 








在 这 一 轮 的 安全 测试 中 ， 小 蔡 成 功 地 发 现 项 目 网 站 在 Response 的 Header 中 显示 了 服务 器 信息 : 











a 然 利用 





敏感 信息 


EE 





局 洞 加 以 攻击 的 可 利 月 




















针对 自身 项 目 特点 ， 考 虑 如 何 防止 敏感 信息 丢失 ， 是 很 有 必要 的 。 
7. 功 能 级 访问 控制 缺失 
※ 可 利用 性 : 


容易 


※ 普 遍 性 : ”常见 





※ 可 检测 性 : ”居中 

中 等 

关于 功能 级 访问 控制 缺失 ， 就 是 允许 未 被 授权 者 访问 需要 授权 的 功能 。 
这 类 攻击 的 目标 是 管理 类 功能 。 


小 莹 手头 项 目的 功能 点 中 ， 也 涉及 了 月 





性 比较 难 ， 但 一 旦 出 现 错误 ， 那 些 丢失 的 数据 ， 不 仅 会 


举 个 例子 说 明 一 下 : 未 认证 用 户 ， 可 以 浏览 需要 身份 验证 的 目标 网 址 ， 这 就 算 


有 户 隐私 ， 这 些 功 能 点 前 边 也 说 过 ， 如 “个 人 账户 信息 ”、 





nginx/1.8.1。 黑 客 能 够 根据 这 个 版 本 去 有 针对 性 地 进行 攻击 。 


会 对 企业 造成 声誉 影响 ， 


还 有 可 能 让 企业 背 上 法 律 责任 。 








局 洞 了 。 


“个 人 订阅 产品 ”、“ 个 人 保存 搜索 条 件 ” 等 。 








小 蔡 先 以 授权 月 




















户 身份 浏览 了 一 遍 项 目 功 能 ， 接 着 又 以 普通 用 户 身份 再 次 访问 受 限 页 1 























最 后 小 蔡 提 醒 大 家 : 想 用 自动 化 工具 








发 现 这 里 存在 的 问题 ， 有 点 








困难 。 





8. 跨 站 访问 请 求 伪造 





※ 可 利用 性 : ” 居中 


※ 普 遍 性 : ”常见 
※ 可 检测 性 : ”容易 


※ 影 响 : ”中 等 


， 服 务 器 未 见 响应 。 又 在 未 登录 状态 下 进行 访问 ， 同 样 无 法 进入 个 人 页 面 。 








小 莹 至 今 仍 清晰 地 记得 ， 刚 接触 电脑 的 时 候 ， 就 不 断 地 被 警告 ， 
这 到 底 是 为 什么 ， 为 什么 点 击 进去 就 “完了 ”。 


“不 要 点 击 陌生 网 页 ”， 





跨 站 访问 请 求 伪造 (CSRF) 典型 攻击 方式 是 让 受害 者 在 已 经 登录 某 站 点 的 





“不 要 访问 陌生 网 站 ”， 甚 至 “不 要 点 击 一 些 看 起 来 不 安全 的 网 站 的 浮动 链接 ”。 当 


博 况 下 点 击 某 个 链接 ， 从 而 使 用 用 户 登 录 后 存储 在 浏览 器 本 地 的 Cookie 信 息 





时 不 能 明白 








去 访问 恶意 网 站 ， 或 者 执行 恶意 肢 








本 ， 以 达到 攻击 的 目的 。 攻 击 者 可 以 使 用 受害 月 











小 莹 通过 渗透 测试 轻松 检测 完毕 。 另 外 代码 分 析 工具 也 可 检测 到 此 类 漏洞 。 
9. 使 用 含有 已 知 漏洞 的 组 件 
※ 可 利用 性 : ” 居中 





※ 普 遍 性 : ”广泛 
※ 可 检测 性 : ” 难 


向 : ”中 等 











使 用 含有 已 知 漏洞 的 组 件 ， 可 能 导致 很 多 风险 ， 从 微不足道 的 问题 ， 到 被 恶意 软件 攻击 。 这 些 
御 系 统 遭 破坏 ， 继 而 出 现 各 种 风险 。 

















就 目前 来 讲 ， 大 多 数 应 用 都 存在 使 用 含有 已 知 ) 





局 洞 组 件 的 问题 。 





有 户 的 身份 进行 操作 ， 如 登录 、 注 销 、 更 新 账号 信息 、 


很 多 企业 都 会 使 用 第 三 方 依赖 库 或 开源 代码 ， 共 同 存在 的 一 个 问题 是 他 们 很 少 对 这 


购物 等 。 








局 洞 组 件 包 括 : 框架 、 库 文件 、 其 他 软件 模块 ， 它 们 可 以 被 自动 化 工具 发 现 并 利 月 





有 ， 导 致 防 


.6 





组 件 和 库 进行 安全 检查 。 


那么 在 这 个 问题 上 该 怎么 做 呢 ? 











小 蔡 通 过 和 开发 人 员 沟 通 ， 了 解 系统 使 用 的 一 些 主要 的 第 三 方 依 赖 库 ， 然 后 通过 搜索 引 掌 查找 这 些 第 三 方 依赖 库 是 否 存在 已 知 的 安全 漏洞 来 判断 是 否 需要 对 其 进行 升级 。 
































在 防止 使 用 含有 已 知 漏洞 的 组 件 上 ， 及 时 升级 到 新 版 本 是 很 重要 的 。 作 为 开发 者 ， 应 尽 可 能 了 解 项 目 所 使 用 的 全 部 组 件 及 组 件 版 本 。 判 断 是 否 受 这 类 攻击 也 不 难 : 








1) 不 停 地 搜索 漏洞 数据 库 ; 
2) 关注 大 量 邮件 列表 和 可 能 包含 发 布 漏洞 的 公告 信息 。 


10. 未 经 验证 的 重 定向 和 转发 





x 可 利用 性 : ”居中 
※ 普 遍 性 : ”少见 
x 可 检测 性 : ”容易 


※ 影 响 : ”中 等 





我 们 先 来 了 解 一 下 重 定 向 和 转发 。 举 个 简单 的 例子 说 明 一 下 : 比如 ， 有 人 在 重大 考试 中 作 浆 被 发 现 了 。 











pm 





定向 。 去 班主 任 那 ， 班 主任 说 : “这 么 大 的 考试 作 次 我 管 不 了 ， 去 找 院 办 。” 然 后 就 把 你 给 推 了 出 去 ， 没 办 法 你 只 能 去 院 办 寻找 从 轻 处 分 的 机 会 。 


转发 。 去 班主 任 那 ， 班 主任 觉得 这 次 考试 作 深 她 管 不 了 ， 得 看 院 办 的 意见 ， 但 班主 任 没有 直接 把 你 推出 去 ,而 是 自己 联系 院 办 ， 看 这 个 事 怎 么 处 理 ， 并 给 她 处 决 方案 。 








由 此 可 见 ， 重 定向 是 在 客户 端 完 成 的 ， 而 转发 是 在 服务 器 端 完成 的 。 未 验证 的 重 定向 可 能 会 试图 安装 恶意 软件 ， 也 就 是 说 应 该 去 院 办 ， 却 指示 你 去 了 团委 。 而 不 安全 的 转发 可 能 会 允许 绕 
过 安全 访问 控制 ， 产 生 安全 隐患 。 
































小 莹 通过 审核 后 台 代码 ， 发 现 后 台 代码 中 虽然 存在 页 面 跳 转 功能 ， 但 生成 的 跳 转 URL 中 没有 包含 任何 用 户 信息 ， 并 且 用 户 输入 参数 无 法 进行 页 面 跳 转 。 由 此 确定 ， 该 项 目 中 不 存在 这 一 风 
































如 何 防止 这 一 风险 呢 ? 





1) 避免 使 用 重 定向 和 转发 。 











2) 避免 不 了 1， 那 就 不 要 在 使 用 目标 参数 时 涉及 用 户 参数 。 








3) 避免 不 了 2， 那 就 确保 其 提供 数据 只 对 当前 用 户 生 效 ， 并 已 授权 。 














相对 检测 未 经 验证 的 


ud 





定向 ， 检 测 未 验证 的 转发 更 困难 一 些 ， 因 为 它 的 目标 是 内 部 网 页 。 但 无 论 如 何 ， 我 们 都 要 尽力 防止 这 种 漏洞 出 现 。 

















安全 测试 涉及 的 点 非常 多 ， 这 篇 小 短文 只 是 涉及 了 小 蔡 在 基于 OWASP 前 10 位 安全 风险 列表 进行 安全 测试 的 实现 过 程 。 学 习 OWASP TOP 10 的 安全 防御 构建 思想 ， 比 直接 应 用 更 显 重要 。 











那么 作为 一 名 小 小 的 测试 人 员 ， 我 们 下 一 步 该 怎么 做 呢 ? 


1) 对 自己 公司 开发 及 购买 的 第 三 方 应 用 程序 ， 进 行 代码 审查 ， 测 试 应 用 程序 的 安全 性 。 


























2) 为 了 提高 专业 分 析 的 效率 和 有 效 性 ， 尽 可 能 将 安全 代码 审查 和 应 用 程序 渗透 测试 的 方法 相 结 合 ， 实 现 二 者 技术 优势 的 最 大 化 。 


安全 测试 路 漫漫 修 远 兮 ， 让 我 们 一 起 为 实现 应 用 程序 安全 而 努力 。 


5.3 ”前 台 修 改 JavaScript 可 以 输入 超 限 字符 








随 着 在 测试 中 深入 了 解 与 学 习 产 品 功能 和 知识 ， 小 蔡 也 对 前 台 的 JavaScript 产 生 了 兴趣 ， 在 业余 时 间 自 学 了 Javascript 的 编写 。 不 过 ， 她 觉得 只 是 练习 书 上 和 网 上 的 例子 并 没有 实战 性 ， 
就 想 向 开发 人 员 学 习 真 正 的 产品 代码 编写 。 














小 蔡 找 到 一 个 私 底下 关系 好 的 开发 人 员 ， 让 他 就 特定 的 一 个 功能 进行 讲解 。 开 发 人 员 选 择 了 注册 的 页 面 给 她 进行 讲解 ， 当 讲解 到 注册 用 户 名 的 Javascript 实 现时 ， 小 蔡 测 试 意识 的 敏锐 性 
凸显 出 来 了 ， 她 发 现 注册 用 户 名 长 度 限制 的 代码 有 可 能 会 导致 Bug， 因 为 对 用 户 名 长 度 的 限制 是 通过 javascript 在 前 台 实 现 的 ， 如 果 用 户 具备 一 定 的 JavaScript 能 力 并 且 恶意 攻击 ， 就 很 可 能 通 
过 修改 前 台 的 JavaScript 执 行 系统 不 期 望 的 行为 。 









































可 是 ， 开 发 人 员 并 不 这 么 认为 ， 他 觉得 按照 现在 这 么 做 是 没有 问题 的 ， 他 认为 用 户 应 该 不 会 在 前 台 修 改 ， 即 便 用 户 修改 了 ， 系 统 也 不 应 该 出 现 问题 。 


























小 莹 只 好 选择 通过 强 有 力 的 证 据 来 说 服 他 。 小 蔡 在 产品 前 台 界面 通过 Chrome 浏 览 器 自 带 的 开发 者 工具 选择 注册 页 面 用 户 名 字段 ， 然 后 查看 对 应 的 JavaScript。 她 发 现 对 用 户 名 长 度 的 限 
制 显示 在 了 用 户 名 字段 元 素 的 属性 中 ， 而 对 于 这 个 属性 ， 用 户 就 可 以 随意 修改 了 。 人 小 蔡 把 这 个 值 从 15 修 改 到 了 20 ( 见 图 5-5) 。 






























































当 小 莹 在 用 户 名 字段 输入 20 个 字符 后 ， 补 充 其 他 信息 并 进行 提交 时 ， 系 统 并 没有 检查 用 户 名 长 度 是 否 超过 了 允许 的 大 小 ， 所 以 这 个 非 正常 用 户 就 这 样 注册 成 功 了 ， 而 且 还 可 以 正常 登录 。 
开发 人 员 觉 得 这 样 也 没什么 问题 ， 虽 然 用 户 使 用 了 不 太 合 规 的 用 户 名 注册 成 功 ， 但 是 并 没有 对 产品 带 来 实质 性 的 影响 。 





























用 户 名 由 3 到 5 个 字符 给 成 


Console Sources Network Timeline Profiles Resources Security Audits Adblock Plus 
v<div id="reginfo_a"> 


v<div class="rfa"> 
<input type="text” id="repeat_password1” name="repeat_password1” class="px er” tabindex="1” autocomplete="0ff" size=” | 
plLacehotder= "账号 ” required> 


<i id="tip_repeat_password1” class="p_tip” style="display; block;"> 用 户 名 由 3 到 15 个 字符 组 成 </i> 
</div> 
ve<div class="rfm"> 
j> <p>~</p> 





图 5-5 ”修改 前 台 JavaSctipt， 输 入 更 多 字符 





小 蔡 接 着 提醒 他 ， 这 只 是 把 字段 限制 修改 到 20 的 结果 ， 如 果 去 掉 这 个 限制 呢 ? 数据 库 中 的 用 户 名 字段 的 大 小 是 多 少 呢 ? 开发 人 员 这 才 一 惊 ， 因 为 数据 库 中 用 户 名 字段 设置 的 字段 大 小 是 
256， 因 为 按照 当时 的 设计 ， 页 面 不 允许 用 户 输 入 超过 15 个 字符 ， 这 样 数据 库 字段 存储 位 数 就 不 需要 很 大 ， 没 想到 前 台 Javascript 并 没有 成 功 限制 用 户 的 输入 ， 所 以 ， 一 旦 用 户 输入 超过 256 个 
字符 并 提交 ， 数 据 库 很 可 能 就 会 出 错 ， 甚 至 造成 系统 宕 机 。 


开发 人 员 等 不 及 给 小 蔡 继 续 讲解 JavaScript， 就 急忙 拉 着 小 蔡 去 找 产品 经 理 和 相关 人 员 讨 论 解 决 方案 了 。 考 虑 到 这 个 问题 已 经 存在 于 线 上 产品 中 ， 所 以 强 需 一 个 快速 解决 方案 。 最 后 大 家 
一 致 认为 需要 在 提交 表单 时 再 次 执行 对 字符 进行 限制 的 代码 逻辑 ( 见 图 5-6) 。 














错误 信息 x 
抱歉 ， 您 的 用 户 名 超过 15 个 字符 ， 请 输入 一 个 


较 短 的 用 户 名 


3 秒 后 窗口 关闭 





图 5-6 提交 时 再 次 进行 验证 


在 小 莹 的 验证 下 ， 这 样 修 改 果真 修复 了 用 户 可 以 输入 过 多 字符 的 问题 。 开 发 人 员 之 后 又 告诉 她 ， 其 实用 户 通 过 修改 前 台 的 Javascript 不 仅 能 取消 对 字符 数 的 限制 ， 还 能 取消 对 特殊 字符 等 
的 限制 ， 所 以 在 这 次 快速 修复 之 后 ， 开 发 团队 还 会 对 这 个 问题 进行 整体 的 全 面 修复 。 








人 @@i 民 0 识 “浏览 器 开发 者 工具 
测试 工程 师 经 常会 使 用 浏览 器 开发 者 工具 去 快速 发 现 验证 功能 并 发 现 Bug。 例 如 修改 页 面 中 的 数据 ， 常 常会 发 现 样 式 被 破坏 掉 的 问题 。 
当前 主流 的 浏览 器 都 包含 此 类 工具 : 
1) Chrome 通 过 右 击 鼠 标 “ 审 查 元 素 ”， 或 者 从 菜单 中 依次 选择 “设置 一 更 多 工具 一 开发 者 工具 ”打开 ; 
2) Safari 通 过 勾 选 “偏好 设置 ”一 “高 级 ”， 在 菜单 中 显示 “开发 ”菜单 ， 打 开 开 发 者 工具 ; 
3) Firefox 通 过 选择 “工具 ”一 “Web 开 发 者 ”菜单 中 的 选项 ， 开 局 开发 者 工具 中 的 对 应 功能 ; 同时 Firefox 还 可 以 安装 插件 “Firebug”， 获 得 实现 更 多 调试 功能 的 扩展 ; 


4) JE 通过 F12 快 捷 键 ， 或 者 通过 “设置 ”一 “开发 者 工具 ”启动 工具 ; 


5) Opera 通 过 “工具 ”一 “高 级 ”一 “开发 者 工具 ”启用 工具 。 


5.4 “页面 没有 屏蔽 用 户 执行 JavaScript 代 码 导致 XSS 攻 击 


之 前 小 蔡 所 在 的 公司 聘请 了 第 三 方 安全 公司 进行 全 面 的 安全 测试 ， 并 得 到 产品 的 安全 性 报告 。 开 发 团队 依据 报告 内 容 中 发 现 问题 的 优先 级 进行 了 修复 ， 花 费 了 很 长 一 段 时 间 才 修复 完成 。 











最 近 业 务 方 又 要 添加 一 些 新 的 需求 ， 例 如 : 由 于 某 些 商家 出 售 商品 数量 较 多 ， 所 以 在 商家 的 页 面 需要 支持 搜索 。 对 于 这 个 功能 ， 整 个 开发 团队 都 认为 ， 如 果 能 提前 发 现 和 识别 安全 性 问 
题 ， 能 给 团队 带 来 不 少 便利 ， 也 可 以 减少 后 期 集中 解决 安全 性 问题 的 难度 。 由 于 小 蔡 对 安全 性 测试 很 有 兴趣 ， 而 且 之 前 有 过 发 现 安全 相关 问题 的 经 验 ， 她 被 指派 进行 安全 测试 的 探索 。 








小 葵 依 照 OWASP 列 出 的 10 大 安全 漏洞 ， 一 一 对 照 地 在 产品 中 寻找 问题 ， 她 发 现 XSS 最 容易 让 她 这 样 的 新 手 开始 上 手 安全 测试 。 





小 葵 构 造 了 针对 XSS 攻 击 的 脚本 : “<script>alert (“message.”) </script>”， 使 用 这 个 脚本 在 系统 新 功能 中 开始 安全 测试 。 


鉴于 XSS 脚 本 需要 进行 输入 ， 所 以 小 蔡 把 测试 范围 限定 在 新 增 功能 中 需要 进行 输入 的 页 面 中 ， 很 快 就 发 现 产品 新 功能 中 并 没有 防范 跨 站 脚本 攻击 。 





例如 : 在 商家 页 面 上 进行 搜索 的 功能 中 ， 小 蔡 发 现 输 入 攻击 脚本 并 执行 搜索 后 ，JavaScript 脚 本 被 后 台 执 行 了 ， 同 时 在 系统 前 台 提示 中 出 现 了 XSS 脚 本 设置 的 信息 “message.” ( 见 图 5- 
7) ， 这 说 明 搜索 代码 没有 对 输入 脚本 这 种 情况 进行 处 理 ， 使 得 黑客 有 可 能 通过 这 个 漏洞 得 到 网 站 用 户 的 信息 。 








<script>alert( message，)</Scnpt> 


search. .COM Says: 


message. 





图 5-7 在 页 面 执行 用 户 的 JavaSctipt 脚 本 


使 用 同样 的 方法 ， 小 蔡 又 发 现 了 几 个 类 似 的 问题 ， 但 还 有 大 量 的 输入 框 没有 进行 测试 。 小 蔡 在 想 有 没有 工具 能 帮助 她 进行 XSS 的 安全 性 测试 ， 通 过 查找 资料 ， 果 真 发 现 有 不 少 这 类 的 开源 
安全 性 测试 工具 ， 包 括 OWASP 的 Zed Attack Proxy (ZAP) ， 以 及 业界 知名 的 Burp Suite 等 。 














通过 使 用 这 些 工具 ， 小 蔡 很 快 完 成 了 产品 跨 站 脚本 攻击 漏洞 的 分 析 ， 并 且 这 些 工具 给 出 了 相关 的 修复 建议 ， 包 括 下 面 两 种 解决 方案 。 


方案 1: 使 用 在 线 的 安全 服务 ， 把 一 些 第 三 方 的 JS 文件 加 到 项 目 代码 中 ， 可 以 屏蔽 黑客 Javascript 脚 本 攻击 ( 见 图 5-8) 。 


.Com/?c=home&s=<script>alert( “message.")<%2Fscript> 【©y Q, Search 








当前 访问 疑似 黑客 攻击 ， 已 被 拦截 。 


当前 网 址 : http://search. com/?c=home&s=%3Cscript Ob 3BEalert%28%22message.%22%29%3C 
%2Fscript9%3E 


客户 端 特征 : Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:45.0) Gecko/20100101 Firefox/45.0 


拦截 时 间 : 2016-04-06 16:30:24 


i RN a et 二 
站 管理 员 点 击 这 里 查看 详情 [70000] 或 者 反馈 误 报 


,time: 2016-04-06 16:30:13 


图 5-8 ”使 用 在 线 安全 服务 屏蔽 用 户 JavaScript 脚 本 





方案 2: 对 用 户 输入 的 内 容 ， 在 后 台 代码 中 对 一 些 特 殊 字 符 (例如 单 引号 、 双 引号 等 ) 进行 转 义 ， 可 以 避免 javaScript 脚 本 代码 执行 ( 见 图 5-9) ， 搜 索 的 JavaScript 脚 本 并 没有 被 后 台 执 
行 ， 这 样 就 避免 了 XSS 攻 击 的 发 生 。 


结果 : 找到 











“ lt;script gt;alert( quot;message. quot;) lt;/script gt;” 相关 内容 0 个 


对 不 起 ， 没 有 找到 匹配 结果 。 








<script>alert("message.")</script> 


抱 浆 ， 没 有 找 


开发 人 员 分 析 了 两 种 方案 ， 


并 且 结 合 OWASP 的 十 大 安全 





到 与 <script>alert("message,")</script> 相 关 的 结果 。 


图 5-9 ”对 用 户 JavaSctipt 脚 本 进行 转 义 或 者 直接 当 作 字 符 串 进行 搜索 





认为 实现 难度 都 不 大 ， 最 终 选 择 了 后 一 种 方案 。 由 于 到 目前 为 止 只 是 解决 了 安全 漏洞 的 一 个 方面 ， 所 以 小 蔡 继 续 使 用 ZAP 和 Burp Suite 两 个 安全 性 测试 工具 ， 





后 展 知识 跨 站 脚本 攻击 





跨 站 脚本 攻击 (Cross-site 
或 被 曝 发 现 此 类 漏洞 。 


局 洞 列表 ， 继 续 进行 着 产品 的 安全 性 测试 。 


Scripting，XSS) 是 一 种 对 网 站 程序 的 攻击 方式 。 它 允许 用 户 将 恶意 代码 注入 到 网 页 上 ， 当 其 他 用 户 在 浏览 该 网 页 时 就 会 受到 影响 。 大 量 的 网 站 曾 受 XSS 漏 洞 攻击 


5.5 ”过度 暴露 服务 器 信息 也 会 造成 安全 问题 


网 站 最 近 经 常 遭 到 各 种 攻 
息 ， 而 运 维 团队 却 没有 发 现 攻 





从 这 些 现象 看 来 ， 攻 击 者 


击 , 不仅 有 DDoS 攻 击 ， 还 有 针对 特定 Apache 版 本 以 及 类 似 SSL 协 议 版 本 的 攻击 。 一 般 来 说 进行 这 种 针对 精确 的 安全 漏洞 攻击 ， 需 要 事先 扫描 网 站 得 到 相应 的 信 
击 者 的 蛛丝马迹 。 


应 该 是 从 别 的 方面 得 到 了 服务 器 的 相关 信息 。 


小 葵 听 说 老 牛 之 前 做 过 一 些 安全 测试 ， 所 以 她 去 找 老 牛 寻求 帮助 。 老 牛 告诉 她 ， 开 发 人 员 有 可 能 在 网 站 的 错误 页 面 里 暴露 了 服务 器 的 一 些 信息 ， 让 攻击 者 有 迹 可 循 ; 或 者 在 网 络 请 求 的 返 
回 结果 中 ， 不 仅 返 回 了 内 容 ， 还 可 能 在 默认 参数 中 包含 了 服务 器 的 一 些 信息 。 








小 莹 按照 这 个 思路 去 检查 是 否 有 相关 信息 泄露 的 情况 。 


首先 ， 她 在 网 站 的 404 页 面 就 发 现 服务 器 不 仅 给 用 户 返 回 了 找 不 到 页 面 的 提示 ， 同 时 也 告诉 用 户 服务 器 的 Apache 版 本 、PHP 版 本 、 操 作 系统 类 别 、 服 务 器 地 址 以 及 端口 信息 ， 如 图 5-10 
所 示 。 





后 _ rr 向 "se 回合 回 - 
Not Found 


The requested URL /test.html was not found on this server 


Apache/2.2.3 (CentOS) Server at 192.168.0.101 Port 80 


图 5-10 ”错误 页 面 暴露 服务 器 Apache 版 本 、 操 作 系统 和 端口 等 信息 








针对 这 些 信 息 ， 例 如 Apache 的 版 本 号 ， 攻 击 者 就 可 以 找到 对 应 Apache 版 本 有 什么 样 的 漏洞 ， 再 根据 这 些 漏洞 信息 进行 高 效 的 攻击 了 。 对 于 泄露 出 的 操作 系统 信息 来 说 也 是 一 样 的。 而 当 
黑客 拿 到 服务 器 的 真实 IP 地 址 后 ， 他 们 就 可 以 快速 进行 DDos 的 攻击 了 。 





其 次 ， 小 蔡 还 发 现在 不 少 页 面 的 返回 信息 中 ， 也 包含 了 服务 器 信息 和 使 用 的 第 三 方 库 的 版 本 信息 ， 如 图 5-11 所 示 。 


了 Response Headers 


Cache-Control: must—revalidate, private, max-age=@ 
Connection: Keep—Alive 

Content- Encoding: gzip 

Content—- Length: 13035 

Content-Type: text/html; charset=utf-8 

Date: Thu, 8@5 Jul 2812 82:34:59 GMT 

Etag: "4142@dccb52fcbb747c4abd9e@298062" 

Keep-Alive: timeout=5, max=9@ 

et 一 Dase_session=BAh7BzoQcmVkaxJLY3RfdG8iDC9t 
86f2bb3130 Ta2ffb880b3f15c0a7fSea636; path=/; HttpOnly 
Status: 200 


: Phusion Passenger (mod rails/mod rack) 3.0.11 
XxX-Rack-Cache: miss 
X-Runtime: 165 





图 5-11 页 面 返回 包含 服务 器 信息 和 第 三 方 库 版 本 





不 仅 如 此 ， 小 蔡 在 浏览 器 的 开发 者 工具 中 还 发 现在 有 些 页 面 返回 的 注释 中 都 有 可 能 包含 第 三 方 库 的 版 本 ( 见 图 5-12) ， 这 对 攻击 者 来 说 也 是 很 有 用 的 信息 。 





Name x Headers Preview | Response | Cookies Timing 
日 ie-emulation-modes-warning.js | 1 
回 logo.png?123 3 和 二 
日 stats?sld=26440920 4| * Licensed under http://www.apache.org/licenses/LICENSE-2.0 
(5) jquery.min.js e sa# 
7| if("undefined"==typeof jQuery)throw new Error("Bootstrap requi 


[| bootstrap.min.js 
[| jquery.pin.min.js 











173 requests | 1.4 MB transferred | Finish: 5.63s | D... 


图 5-12 页面 返回 的 注释 中 包含 第 三 方 库 版 本 信息 


因为 项 目 常常 需要 使 用 第 三 方 代码 库 ， 如 果 暴 露 了 这 些 第 三 方 代码 的 版 本 信息 ， 也 会 造成 很 大 风险 。 如 果 攻 击 者 拿 到 这 些 信息 ， 比 如 说 系统 使 用 特定 的 SSL 版 本 号 ， 就 可 以 发 现 是 否 存在 





已 知 的 漏洞 ， 例 如 心脏 出 血 漏洞 (heartbleed bug) ， 来 进行 低 成 本 的 攻击 。 


小 葡 把 这 些 发 现 上 报 给 者 牛 和 产品 经 理 ， 随 后 整个 项 目 组 都 被 动员 起 来 对 这 些 过 多 暴露 服务 器 信息 的 场景 进行 清理 ， 修 改 后 页 面 返回 中 没有 了 服务 器 信息 ( 见 图 5-13) ， 运 维 团队 发 现 攻 
击 的 频 度 和 力度 都 大 大 减 小 了 。 


General 


Remote Address:192.168.1.1 
Request URL: https://www.abc.com 
Request Method: GET 
Status Code: @ 280 OK 
Response Headers View source 


Cache-Control: no-store, no-cache, must-revalidate, post-check=08, pre-check=0 


Connection: keep-alive 

Content-Type: text/html; charset=UTF-8 
Date: Wed, 19 Aug 2615 85:34:45 GMT 
Expires: Thu, 19 Nov 1981 088:52:00 GMT 
Pragma: no-cache 

Server: WebServer | 

transfer-encoding: chunked 
X-Frame-Options: Sameorigin 





图 5-13 不 包含 服务 器 信息 的 页 面 返 回 





此 外 ， 小 蔡 还 从 开发 人 员 那 里 了 解 到 ， 可 以 简单 使 用 Linux 的 curl 命 令 查 看 页 面 返回 信息 里 的 Header， 去 检查 是 否 有 服务 器 信息 的 泄露 ( 见 图 5-14) 。 


@r 





Earl 

HTTP/1.1 302 Found 

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 
Content-Type: text/html; charset=UTF-8 

Date: Mon, 17 Aug 2015 04:52:12 GMT 


Expires: Thu, 19 Nov 1981 08:52:00 GMT 
Location: 


2 RO ea ication/returning/goto/L2F1L3R1lbmFudC9KkYXNOoYm9hcmQvaWS5kZXg%3D 
SY : 


Set-Cookie: PEP SESSIDTr13f19dr orkaracys tiu ral ry 16-Sep-2015 04:52:12 GMT; Max-— 
Age=2592000; path=/; domain=.abc.com 


X-Frame-Options: Sameorigin 
X-Powered-By: PHP/5.5.26 
Connection: keep-alive 





图 5-14 ”通过 cutl 命 令 检 查 页 面 返回 中 服务 器 信息 有 无 泄露 


展 知识 “心脏 出 血 漏洞 


心脏 出 血 漏洞 ， 出 现在 一 个 广泛 使 用 的 加 密 程 序 库 OpenSSL 中 ， 缺 陷 在 于 OpenSSL 的 代码 实现 ， 而 不 是 SSLVTLS 协 议 本 身 ， 所 以 除了 OpenSSL 之 外 其 他 的 SSLVTLS 实 现 方式 ， 如 GnuTLS 和 
Mozilla 的 NSS 安 全 服务 都 没有 受到 影响 。 


5.6 


日 志 中 的 信息 泄露 





作为 大 型 的 商业 网 站 ， 在 经 历 过 心脏 出 血 漏洞 这 样 的 安全 事件 之 后 ， 对 安全 的 关注 达到 了 一 个 新 高 度 。 所 以 小 蔡 所 在 的 公司 聘请 了 第 三 方 的 安全 公司 对 各 产品 进行 了 详细 的 安全 漏洞 分 析 


和 扫描 


， 得 到 的 结果 让 小 蔡 这 样 的 技术 人 员 感 觉 值 回 票 价 了 。 











漏洞 分 析 报告 中 有 一 类 安全 问题 是 项 目 组 之 前 没有 关注 过 的 ， 那 就 是 在 各 种 日 志 中 的 安全 信息 漏洞 。 其 实 开发 人 员 已 经 在 日 志 中 注意 隐藏 隐私 信息 了 ， 但 对 于 日 志 中 记录 的 出 错 信息 ， 却 
没 那么 留心 ， 而 漏洞 分 析 报 告 恰恰 就 发 现 了 几 种 这 类 问题 的 代表 性 例子 。 








首先 被 发 现 的 是 在 出 错 日 志 中 明文 记录 的 用 户 名 和 密码 ， 如 图 5-15 所 示 。 











spluNK i 


Views ~ 


Q New Search 


index™" * Tinna source="/opt/ 


学 


1 event (1W/1/15 12:00-00.000 AM to 1/1/16 120000 000 AM) 


Lntv Fomatv 50 Per Poge v 


过 州 Fieldy i Tm Event 


》 6/23/15 2015/06/23 12131141 [error] [exception] AmsSignupForm 


1031241000AM ( 
[Vanager)] ”> Tinna 
[Co 


[Email] “> tinna Banail .Com 


[password] => Yuvraj1312 


ip492-168-1-1 


runtime/ppplication, log™ "Tinna 





save ~ Array 


/runtime/applcation iog php_yiruntime_errors 


图 5-15 ”错误 日 志 中 明文 记录 的 用 户 名 和 密码 


在 产品 使 用 的 日 志 记录 工具 Splunk 中 ， 漏 洞 分 析 报 告 指出 在 用 户 登录 出 现 错误 时 ， 浏 览 器 不 会 发 送 明文 的 用 户 信息 给 服务 器 ， 服 务 器 端 也 不 会 返回 用 户 信息 给 用 户 浏览 器 。 但 是 没 想到 在 


日 志 记 录 中 却 明 确 记录 了 登录 出 现 错误 的 用 户 名 和 密码 ， 如 图 5-15 所 示 。 





其 次 被 发 现 的 是 在 出 错 日 志 中 明文 记录 的 数据 库 信息 ( 见 图 5-16) 。 





“— All appiication errors 2 Share this error 


Uncaught Exception 


language php 


External services 


D-192-168-1-1-server 


NEw 
Error analytics Error message 


Hide errors like this 站 Deiete this error 


RL /Harcourts%20New%20Zealand,111 login 


Errors Uncaught Exception: Uncaught exception PDOExCeption’ with message 'SQLSTATE[HY000] [2002] php 
network_ getaddresses: getaddrinfo faied: Name or Service not knowm in /opt/ 
public mmil/include/iogin .php.54 


Stack trace 


/oot/ /apps/ /public htnUincUude ooin php(54): 


» Constructl wysqal:host=pr0d,,,.", |" user ， "DARSf203VZnVIL3A。 ,1 


/opt/ /app5/ 


/opt/ /apps/ /public htnl/language. php(21)}; 
QetSiteSettingsNewl *, Object(PoOProxy)) 


SLA 


{main}) 


Availladilty 


图 5-16 ”错误 日 志 中 明文 记录 的 数据 库 信息 


在 产品 使 用 的 性 能 监控 工具 New Relic 中 ， 漏 洞 分 析 报告 也 指出 在 数据 库 连 接 出 错 的 时 候 ， 服 务 器 会 把 相应 的 数 





的 ， 如 图 5-16 所 示 。 











再 次 被 发 现 的 是 在 出 错 日 志 中 明文 记录 的 信用 卡 信息 ( 见 图 5-17) 。 








Transaction attributes 


newW-Server 


; ?OO0_cCOopnecg() 


Mozllla/5.0(compatible; MJ12b 
以 /V145; http://www.majestic 





居 库 连接 信息 也 保存 下 来 ， 并 且 连 接 数 据 库 的 用 户 名 和 密码 都 是 明文 存储 


index= “BankPaynents Error™” sourcetype=php yiiruntime errors 


2 


~ Ti events (before 26/01/2016 16.21:17.000) 
Events (11) Shabstcs Visualization 


Format Timefine v 一 Zoom Out + Zoom to Selectior 


AFormat Y 20 PrPagev 


Event 
》 27/01/2016 2016/01/26 19:17:25 [error] [exception.payments] Bankpaynents Error! E5431-01261917: Invalid Field : Cardum 
~ 03:1725.000 host sir192.168.1.1 wowce * /op Imntime/application log sourcetype - php_yiirumtime errors 


>》 03/08/2015 2015/08/03 12:35:59 [error] [exception.payments] Bankpaynents Error! BankPayments Object 
wn 0-3559.000 ( 
[vpc_URL :BankPaynents:private] => https://nigs.nastercard.con,.au/vpcdps 
[vpc_VYersion:BankPayments:private] "> 1 
[vpc_AccessCode:BankPaynents: private] =>AD9F86D0 
[vpc_Merchant -BankPaynents :private) =>PAYMENTTESTABCCOM 
[emailTo:BankPaynents:private] => paymentiest@abc.com 
[emailFrom:BankPayments:private] “> Array 
《 
[0] => admin@www.abc.com 
[1] => Web Order 


[error :BankPpayments:private] => Unspecified Failure 
[cardNum] => #$111111111111111 

[cardSecurityCcode] “> 123 

[cardExp] “> 012016 

[amount】 => 140 

[orderinfo] => App Cards 

[tnxRef] > app_cards_74 

[return] => https://www.abc.com/app-cCards/confirm 


) 
Unspecified Failure 
Collapse 





图 5-17 错误 日 志 中 明文 记录 的 信用 卡 信息 


同样 在 产品 使 用 的 日 志 记录 工具 Splunk 中 ， 漏 洞 分 析 报告 指出 在 用 户 支付 出 现 错误 时 ， 服 务 器 端 昌 然 不 会 返回 任何 用 户 信息 给 用 户 浏览 器 ， 但 是 却 在 日 志 记录 中 ， 不 仅 明确 记录 了 支付 出 
现 错误 的 用 户 邮箱 ， 还 保留 了 完整 的 用 户 信用 卡 信息 ， 例 如 卡号 、 安 全 码 、 过 期 日 期 等 信息 ， 如 图 5-17 所 示 。 


























通常 开发 人 员 会 认为 这 些 错误 日 志 信 息 只 占 很 少 一 部 分 ， 而 且 都 是 在 专门 的 管理 工具 中 供 开 发 团队 管理 ， 安 全 风险 不 大 。 但 是 漏洞 分 析 报 告 指出 ， 虽 然 风 险 不 大 ， 可 一 旦 出 现 信息 的 汇 
露 ， 哪 怕 是 这 些 管理 工具 自身 安全 性 不 足 导致 的 信息 泄露 ， 造 成 的 影响 都 是 非常 巨大 的 ， 很 可 能 造成 用 户 对 于 站 点 和 产品 的 不 信任 ， 所 以 也 需要 慎重 对 待 出 错 日 志 。 























根据 漏洞 分 析 报告 的 建议 ， 同 时 也 考虑 到 一 旦 出 现 问题 时 的 Debug 因 素 ， 开 发 人 员 把 所 有 错误 日 志 中 的 密码 都 隐 去 了 ， 如 图 5-18 所 示 。 


> 3/25/16 --be7d2742-A-- 
12:16:03.000PM ... 17 lines omitted ... 
-~-be7d2742-C-- 
TENANT_CSRF_TOKEN=9e0f7068f198cc7d7a3d13939c3f1cf16f697c58&Application5tartForm%5Btagid%5D=&ApplicationStartForm%5BAppCo 


de%5D=&ApplicationStartForm%5Bpapf m%5D=&ApplicationStartForm%5BusSername%5D= s%40gmail, com&Applicatio 


~-be7d2742-F-- 


HTTP/1.1 400 Bad Request 
Show all 37 lines 
host = ip- 192-168-1-1 source = /var/log/httpd/modsec_auditlog sourcetype = modsec_audit_log 





图 5-18 ”错误 日 志 中 用 户 密码 被 隐 去 


小 蔡 和 整 个 项 目 组 都 从 漏洞 分 析 报 告 中 学 习 了 不 少 安全 知识 ， 大 大 提高 了 产品 的 安全 性 。 


5.7 ”打开 陌生 网 页 后 ,我 在 网 站 上 存储 的 信息 丢失 了 


背景 : 茶 个 网 站 有 上 百 万 用 户 访问 使 用 ， 突 然 菜 天 该 网 站 首页 上 出 现 一 个 宽 幅 广告 ， 广 告 内 容 很 吸引 人 ， 于 是 部 分 用 户 点 击 广告 查看 详情 ， 看 完 广告 后 用 户 继续 浏览 该 网 站 。 之 后 他 们 便 


发 现 自己 在 网 站 中 保存 过 的 一 些 产品 信息 ， 以 及 保存 的 定制 过 滤 条 件 都 丢失 了 。 紧 接 而 来 的 是 大 量 用 户 的 投诉 ， 这 对 网 站 声誉 造成 了 比较 严重 的 影响 。 











最 近 小 蔡 开 始 对 项 目 网 站 做 安全 方面 的 测试 ， 这 个 网 站 同样 有 百 万 级 的 用 户 访问 使 用 量 。 小 蔡 写 了 一 段 JavaScript 脚 本 并 存储 成 HTML 文 件 ， 发 送 给 她 旁边 的 同事 ， 她 同事 打开 了 这 个 文 
件 ， 并 未 出 现任 何 异 常 ， 而 该 同事 回 到 正在 使 用 的 项 目 网 站 时 ， 却 发 现 自己 定制 的 搜索 过 滤 条 件 都 被 删除 了 。 莫 名 其 妙 ! 











小 葵 写 的 Javascript 脚 本 如 下 : 





<script> 

for (var i=304000;i<304258;i++) 

{document .write('<img src=http://www.weekness test.com/deleteSearches.ds?searchIds='+i+'> '); } 
< SEE 








实际 上 这 个 测试 场景 模拟 的 是 文章 开头 的 场景 ， 假 设 有 黑客 想 搞 垮 一 家 网 站 ， 他 只 要 在 这 家 网 站 上 打出 广告 ， 而 用 户 打开 这 个 广告 就 会 跳 转 到 包含 类 似 上 面 JavaScript 代 码 的 页 面 ， 凡 是 
打开 过 广告 的 用 户 ， 个 人 存储 的 信息 就 都 会 丢失 。 





小 莹 所 在 的 项 目 中 
要 测试 黑客 能 否 在 月 





SB 
能 否 














全 汪 总 前提 是 用 户 状态 已 登录 。 只 有 


法 用 户 ， 执 行 一 段 脚本 








有 三 个 功能 点 可 涉及 上 面 提 到 的 安全 问题 ， 分 别 是 删除 个 人 账户 功能 、 


























或 者 打开 一 个 特定 UR 


1. 测 试 一 : 删除 个 人 账户 功能 
小 莹 使 用 




















accountDeleted=true。 


小 莹 记录 下 这 个 URL， 用 户 登 录 情 况 下 ， 在 浏览 器 中 打开 新 的 标签 页 面 ， 输 入 这 个 URL， 按 Enter 键 看 到 页 














她 刷新 页 面 后 ， 看 到 自 





2. 测 试 二 : 删 














回 对 








己 仍 是 登录 状态 ， 表 示 账 户 没 有 被 删除 。 这 又 是 怎么 


除 订阅 产品 








小 蒙 使 用 类 似 上 




















登录 情况 下 ， 新 的 浏览 器 标签 页 执行 这 个 URL， 并 且 


























通过 使 用 


EE 


元 





客 必须 同时 猜 出 两 个 数值 才 行 ， 


Ne 
(5x10°)x 


网 站 并 查看 后 台 网 络 请 求 ， 发 现 itemld 和 bookmarkld 是 自 增 的 数值 ， 也 就 是 说 这 两 个 数值 是 有 规律 的 ， 只 要 县 
假设 他 猜 中 第 一 个 产品 ID 是 500000， 而 第 二 个 bookmarkid 的 数据 范 | 


删除 订阅 产品 、 删 除 保存 的 搜索 条 件 。 这 三 个 必须 是 用 
户 不 知晓 的 情况 下 删除 用 户 相关 信息 。 以 下 是 小 蔡 对 这 三 个 功能 点 的 测试 过 程 。 























百 








有 呢 ? 原来 开发 人 员 之 前 对 这 块 功能 做 了 安全 处 理 ， 账 户 信息 


修改 了 itemld 和 bookmarkld 的 数值 ， 结 果 发 现 可 以 删除 用 户 对 应 的 订阅 产品 。 这 是 一 个 





围 在 1 


























时 猜 中 的 可 能 是 (6*10)， 也 就 是 几 百 亿 分 之 一 。 照 这 样 计算 ,黑客 想 要 删除 每 一 个 用 户 的 数据 ， 需 要 在 | 
值 也 不 大 。 因 此 修复 这 个 漏洞 的 优先 级 是 低 优 先 级 。 
3. 测 试 三 : 删除 保存 的 搜索 条 件 





小 蔡 找 到 了 删除 保存 的 搜索 条 件 的 URL: http://www.weekness test.com/delete-Searches.ds?searchlds=304058。 





这 个 URL 同 样 可 以 在 用 
围 缩小 了 : 在 | 


需要 猜测 出 的 数值 范 





















































客 可 以 进一步 缩小 范 


围 ， 





只 需 删 除 最 近 几 万 个 搜索 条 件 就 能 破坏 网 站 的 运行 。 因 




















小 莹 为 了 给 组 内 


其 他 同事 


更 好 地 演示 这 个 漏洞 的 破坏 性 ， 才 出 现 了 这 个 故 寻 











的 开头 ， 当时 这 位 同 寻 

















站 OWASP 对 近 几 年 主要 Web 安 全 风 


容 https://www.owasl 


5.8 


’ 


恶意 4 


5 


些 P 


信息， 比如 姓名 、 


\ 蒙 目前 所 在 的 新 项 目 对 安全 性 的 要 求 特别 高 ， 其 中 有 个 功 
HH 价 ， 在 发 送 申请 时 系统 也 会 把 相关 有 











险 前 10 位 逐个 测试 过 程 中 发 现 的 。 需 要 了 解 OWASP 详 | 
p.org/index.php/OWASP Top Ten Cheat Sheet。 


包含 在 受 限 PDF 里 的 缩 略 图 权限 不 受 限制 


名 旦 
BEE 














还 包含 了 用 








电话 、 邮 箱 地 址 、 银 行 卡 。 除 此 之 外 ， 这 个 页 画 

















情 的 朋友 ， 可 以 参考 该 页 本 


有 户 的 信息 发 送 给 拍卖 者 。 对 于 拍卖 者 来 说 ， 他 可 以 在 系统 中 看 到 一 个 完整 的 出 价 申请 页 面 ， 
银行 账单 等 | 





中 内 

















~ 623783 之 间 。 第 一 个 数据 超过 50 万 条 ， 








在 这 种 | 





局 洞 。 


户 登录 后 ， 才 能 执行 删除 功能 的 。 现 在 


EE 
TD 


在 用 户 登 录 状 态 下 ， 恶 意 网 页 才能 使 用 登录 后 在 浏览 器 端 保存 的 Cookie 给 服务 器 端 发 送 请 求 。 这 个 过 程 中 ， 恶 意 网 页 通过 使 用 Cookie 擅 造 自 己 是 合 
L 去 执行 后 台 的 功能 代码 ， 最 终 实现 破坏 网 站 的 目的 。 


Chrome 自 带 的 Inspector 查 看 页 面 背后 的 所 有 网 络 请 求 ， 她 先 在 浏览 器 上 删除 了 一 个 账户 ， 看 到 后 台 网 络 请 求 为 : http://www.weekness test.com/fakeaddress? 





面 的 步骤 发 现 这 个 URL: http://www.weekness test.com/removefromlist.ds?view=json&itemld=5339670.|.listing&bookmarkld=623783。 


郑 本 中 尝试 太 多 次 ， 执 行 时 间 是 几 小 时 到 几 天 ， 即 使 删除 成 功 ， 


提示 该 账号 被 删除 。 坏 了 ， 这 里 有 问题 : 账户 有 可 能 被 恶意 网 页 删除 。 但 是 当 
博 况 下 不 会 被 删除 。 


眼 客 能 准确 猜 出 数值 ， 就 可 以 删除 用 户 订阅 的 产品 信息 。 问 题 是 ， 
第 二 个 数据 超过 60 万 条 ， 


两 条 数据 同 





给 黑客 带 来 的 价 


户 登录 状态 下 ， 在 新 的 浏览 器 标签 页 中 删除 用 户 保存 的 搜索 条 件 。 这 个 情景 和 删除 订阅 产品 的 情景 类 似 ， 在 这 里 searchlds 同 样 是 自 增 的 数值 ， 但 是 不 同 的 是 黑客 


引 





j 除 订阅 产品 的 场景 中 需要 猜测 几 百 亿 次 ， 而 在 这 个 场景 中 只 需要 30 万 次 。 而 小 蔡 他 们 这 个 项 目 在 线 运行 了 好 几 年 ， 很 多 searchlds 已 经 过 期 没有 价值 ， 曼 


此 这 个 漏洞 是 需要 修复 的 。 

















户 可 以 发 送 一 个 出 价 申请 给 特定 的 拍卖 商品 ， 等 到 拍卖 结束 ， 就 能 知道 自己 的 出 价 是 


很 惊讶 ， 自 己 的 个 人 信息 怎么 就 不 知 不 觉 地 被 删除 了 。 这 个 j 


不 
口 
一 | 
9 





局 洞 是 小 蔡 按 照 





外 安 











能 成 功 购买 到 该 商品 。 为 了 防止 














这 个 页 面 除 了 拍卖 商 




















/ 


1) 该 拍卖 者 在 未 登录 时 不 应 该 看 到 这 个 商品 出 价 





2) 其 他 拍卖 者 登录 系统 后 不 应 该 看 到 这 个 商品 出 价 
3) 页 面 中 的 PIN 图 
4) 通过 自 改 PI 图 
通过 以 上 场景 的 涡 


老 牛 听 了 小 蔡 之 前 对 于 安全 测试 的 场景 分 析 之 后 ， 也 对 小 莹 紧 起 了 大 拇指 。 可 是 还 ; 
系统 还 提供 了 页 面 “ 保 存 到 PDF” 的 功 











老 牛 很 敏锐 地 把 鼠标 指针 悬浮 到 
小 蔡 看 到 这 里 ， 赶 紧 提醒 老 牛 ， 这 个 图 





开 在 一 个 新 的 窗口 ， 
个 链接 其 实 并 不 一 样 。 








小 莹 是 刚 加 入 的 这 个 项 目 ， 但 是 小 蔡 很 明显 地 感觉 到 这 个 项 目 需要 











请 的 信息 ; 




















请 的 信息 ; 











片 链接 发 送 给 其 他 拍卖 者 之 后 并 不 能 被 打开 ; 








片 信息 的 出 价 申请 ID 不 应 该 得 到 其 他 用 户 的 Pl 信息 。 


























I 试 之 后 系统 都 没有 出 现 问题 ， 小 蔡 松 了 口气 ， 可 是 还 是 不 确定 是 否 遗漏 了 


明 





什么 地 

















图 





片 信息 。 








了 些 场景 。 于 是 ， 小 蔡 又 一 次 找到 了 老 牛 来 寻求 建议 。 











能 ， 老 牛 试 了 下 这 个 功能 ， 发 现 页 面 中 所 有 


日 























图 








图 


片上 去 ， 发 现在 PDF 中 的 缩 略 | 

















的 信息 ， 包 括 | 


图 








片 PII 信 息 都 被 保存 到 了 PDF 中 ， 




















原来 是 可 以 点 击 的 ， 这 个 被 小 蔡 完 全 忽略 掉 了 ， 这 时 小 蔡 倒 吸 了 一 口气 ; 当 老 牛 点 击 缩 略 


些 安全 性 测试 ， 于 是 小 蔡 在 保证 功能 正常 之 外 费劲 脑筋 考虑 了 以 下 几 个 安全 测试 场景 : 


a 信 息 之 外 ， 还 包括 出 价 用 户 的 一 


方 有 遗漏 吗 ? 老 牛 陷入 了 沉思 ， 并 开始 在 系统 中 进行 了 探索 型 测试 ， 测 试 过 程 中 ， 老 牛 注意 到 
片 信息 看 着 很 像 是 不 能 点 击 的 静态 缩 略 





图 


三 |。 











时 ， 


图 片 的 原始 大 小 会 被 打 























片 链接 功能 她 已 经 测试 过 了 是 很 安全 的 。 可 是 这 时 老 牛 还 是 把 之 前 页 画 





























的 图 片 链接 和 PDF 内 内 的 缩 略 


网 


链接 进行 了 比 对 ， 发 现 这 两 








小 蔡 不 由 得 更 加 佩服 老 牛 了 ， 接 着 老 牛 把 上 述 小 蔡 测 试 过 的 场景 又 重新 测试 了 一 遍 ， 没 想到 真 发 现 了 这 个 链接 并 没有 做 过 授权 验证 ， 也 就 是 说 ， 其 他 拍卖 者 或 者 中 

















Pll 信 息 


， 天 哪 ， 这 介 


局 洞 如 果 一 旦 被 黑客 发 现 ， 几 乎 可 以 获取 到 所 有 系统 中 用 户 的 PII 信 息 ， 





这 个 故事 对 小 蔡 来 说 又 是 
的 ， 比 如 在 这 个 故事 中 ， 小 蔡 如 果 想 当然 地 觉得 图 片 的 打开 链接 在 页 本 
仅 需 要 从 用 户 角度 测试 功能 本 身 ， 还 需要 了 解 背 后 的 实现 逻辑 和 | 方法， 从 而 不 




















次 深刻 的 学 习 ， 小 蔡 总 结 到 : 一 方面 ， 她 要 在 以 后 的 测试 过 程 中 对 PDF 或 者 打印 文件 中 的 缩 略 
中 和 在 PDF 中 是 一 样 的 话 ， 就 会 错过 一 个 大 Bug， 所 以 不 
局 掉 会 导致 安全 问题 的 














这 样 小 莹 所 在 公司 将 面临 很 大 的 法 律 风险 。 








图 





也 要 进行 测试 ; 


另 











个 个 小 细节 。 毕 竟 


， 安 全 无 小 





嘛 。 


四 客 可 以 直接 看 到 用 户 的 


一 方面 ， 不 要 想当然 地 假设 系统 是 如 何 运 作 
同 的 场景 还 是 要 进行 深入 的 测试 ， 尤 其 是 关乎 安全 的 测试 ,不 


全 二 示 个 人 验证 信息 (Personally Identifiable Information，PII) 是 有 关 一 个 人 的 任何 数据 ， 这 些 数据 能 帮助 识别 这 个 人 ， 如 姓名 、 指 纹 或 其 他 生物 特征 资料 、 电 子 邮 件 地 址 、 住 址 、 电 


话 号 码 或 社会 安全 号 码 。 


5.9 小 结 





本 章 我 们 介绍 了 如 何在 黑 盒 测试 中 注意 一 些 细节 ， 从 而 可 以 避免 的 安全 性 问题 。 如 果 我 们 能 在 此 基础 上 熟悉 OWSAP TOP 10 的 实践 指导 OWASP Application Security Verification 
Standard Project， 并 且 熟 练 使 用 OWASP Zed Attack Proxy (ZAP) 和 Burpsuite 这 样 的 安全 检测 工具 ， 就 能 很 大 程度 上 预防 安全 问题 的 出 现 。 








第 6 章 ”性 能 测试 


理想 与 现实 状态 的 差别 ， 就 是 问题 ! 做 性 能 测试 的 目的 是 使 软件 系统 尽 可 能 地 与 用 户 提出 的 性 能 指标 ,或 者 与 真实 场景 需要 的 性 能 指标 达成 一 致 ， 去 捕捉 软件 系统 中 存在 的 性 能 瓶颈 ， 进 
而 优化 软件 优化 系统 ， 实 现 理 想 与 现实 的 统一 。 








会 使 用 性 能 工具 ， 能 否 让 测试 菜鸟 摇身一变 成 大 咖 ? 做 性 能 测试 前 ,我 们 需要 提出 哪些 问题 ， 如 何 选择 测试 方法 ， 如 何 制定 测试 总 体 性 能 的 完美 计划 ? 





本 章 中 ， 我 们 讲述 了 几 个 性 能 测试 小 故事 : 第 1 个 故事 关于 录制 好 的 性 能 测试 脚本 失效 了 以 及 排查 原因 的 过 程 ， 第 2 个 故事 讨论 了 错误 的 HTTP 状 态 码 对 Web 服 务 器 性 能 的 影响 ;第 3 个 故 
事 关 于 如 何 缩减 性 能 测试 脚本 的 数量 去 减少 维护 工作 ; 第 4 个 故事 是 对 富 因特网 程序 进行 性 能 测试 的 经 过 ; 第 5 个 故事 详细 说 明了 对 Web 服 务 器 端 进行 压力 测试 的 思路 和 碰 到 的 问题 ; 第 6 个 故 
事 讨 论 了 现 有 的 工具 ， 让 我 们 性 能 测试 做 得 更 轻松 。 






































6.1 性 能 测试 脚本 无 法 使 用 了 








小 葵 最 近 接 到 了 新 的 性 能 测试 任务 : 评估 当前 项 目 是 否 可 以 达到 预定 的 性 能 指标 。 就 在 小 蔡 模 拟 多 用 户 并 发 登录 成 功 后 ， 仅 仅 一 周 时 间 ， 问 题 就 来 了 ， 用 户 登 录 场 景 的 脚本 无 法 运行 ! 这 
是 怎么 了 ? 咕 ! 别 说话 ， 还 是 跟着 小 蔡 一 起 来 解 开 谜团 吧 。 














1. 你 好 ,我 好 ， 大 家 好 














小 蔡 接 到 的 这 个 新 项 目 ， 是 基于 Web 浏 览 器 的 项 目 。 此 项 目的 客户 认为 他 们 需要 支持 的 最 大 在 线 人 数 是 30000 人 ， 最 大 并 发 数 是 6000 人 。 那 么 这 样 的 要 求 是 否 可 以 实现 呢 ? 











根据 经 验 ， 如 果 做 一 个 演示 网 站 ， 只 有 几 个 人 去 使 用 ， 就 不 需要 额外 做 后 台 代码 优化 ， 不 用 请 数据 库 专家 进行 数据 库 调 优 ， 也 不 需要 使 用 CDN 网 络 优化 网 络 访问 速度 ， 那 么 开发 成 本 便 相 
对 较 低 。 而 对 系统 的 性 能 指标 要 求 越 高 ， 软 件 完成 后 总 体 成 本 也 便 越 大 。 由 于 性 能 指标 关系 到 项 目 整体 开发 成 本 ， 所 以 小 蔡 在 得 知 用 户 期 望 的 性 能 指标 后 ， 找 到 客户 与 其 沟通 ， 小 蔡 对 性 能 指 
标的 建议 是 : 希望 最 大 并 发 人 数 从 6000 改 为 3000。 

















小 莹 的 建议 是 否 合理 呢 ? 在 业界 ， 最 大 并 发 人 数 的 计算 方式 ， 通 常 是 使 用 最 大 在 线 人 数 乘 以 10% 人 得 到 的 。 那 么 这 个 项 目的 最 大 并 发 人 数 应 该 是 30000x10%=3000。 从 这 个 公式 可 以 判断 
小 莹 的 建议 是 完全 合理 的 。 然 而 实际 中 也 存在 一 些 软件 需要 最 大 并 发 数 超过 业界 平均 水 平 ， 这 就 需要 与 客户 沟通 ， 究 其 原因 ， 帮 助 客户 一 起 分 析 要 求 的 性 能 指标 是 否 合适 。 基 于 上 述 原因 ， 小 
蔡 与 客户 沟通 后 ， 最 终 确 定 最 大 并 发 人 数 为 3000 人 。 



































小 蔡 使 用 JMeter 性 能 测试 工具 录制 了 一 些 关 键 场景 的 性 能 测试 脚本 ， 其 中 有 一 个 场景 是 模拟 多 用 户 并 发 登录 。 使 
本 ， 还 可 以 在 脚本 中 设置 并 发 线程 数 等 数值 。 





和 





有 JMeter 录 制 脚 本 功能 并 不 复杂 ， 录 和 制 完 后 可 以 很 方便 地 回放 这 些 肢 
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lh 


. 事 儿 来 了 ， 用 户 登录 场景 无 法 运行 














录制 脚本 完成 后 ， 过 了 一 周 ， 事 儿 来 了 ! 

















周三 下 午 ， 小 蔡 运 行 性 能 脚本 进行 测试 ， 看 到 用 户 登 录 的 场景 无 法 运行 ， 她 重新 录制 了 几 次 ， 仍 然 无 法 运行 。 小 蔡 查 看 JMeter 的 
就 在 当天 上 午 这 个 脚本 还 能 正常 运行 ， 期 间 从 没 对 脚本 做 过 任何 改动 ， 为 什么 就 不 能 运行 了 呢 ? 








LE 
避 
天 

Gi 


， 而 出 错 信息 未 能 提供 更 具体 的 原因 。 奇 怪 的 是 














工作 无 法 继续 ， 小 蔡 很 是 着 急 。 找 老 牛 ! 


小 蔡 描 述 完 问题 ， 老 牛 和 她 一 起 开始 分 析 系 统 的 内 部 实现 是 否 发 生 了 变化 。 性 能 测试 脚本 上 午 运行 正常 ， 在 上 午 到 中 午 这 段 时 间 里 ,会 不 会 有 开发 人 员 提 交 了 新 代码 ， 造 成 性 能 脚本 跑 不 
通 ?或 者 ， 项 目的 运行 环境 发 生 了 改变 ， 也 会 造成 性 能 脚本 运行 失败 。 此 外 我 们 也 需要 检查 是 不 是 性 能 测试 脚本 被 损坏 了 。 








第 1 步 ， 检 查 性 能 测试 脚本 在 这 段 时 间 是 否 被 人 修改 了 ， 答 案 是 没有 。 而 且 性 能 测试 脚本 有 备份 ， 使 用 备份 文件 去 运行 也 是 失败 的 。 























第 2 步 ， 从 上 午 到 中 午 的 时 间 只 有 3 个 小 时 ， 老 牛 查阅 了 代码 库 的 提交 历史 ， 看 到 在 这 段 时 间 里 有 过 3 次 代码 提交 ， 接 着 者 牛 和 开发 人 员 查看 了 这 些 提交 的 代码 ， 看 到 代码 的 改动 和 登录 过 
程 并 没有 关联 关系 ， 因 此 推断 新 提交 的 代码 没有 影响 测试 脚本 的 运行 。 























第 3 步 ， 接 着 分 析 项 目的 运行 环境 有 无 改动 。 经 过 检查 ， 在 这 3 个 小 时 里 ， 项 目的 运行 环境 并 没有 人 对 其 改动 。 





这 就 奇怪 了 ， 通 常 排除 了 上 面 3 点 后 ， 从 届 辑 上 来 讲 ， 性 能 测试 脚本 不 应 该 运行 失败 呀 ! 因此 ， 老 牛 还 是 感觉 项 目 有 地 方 发 生 了 变化 ， 只 是 到 目前 为 止 还 没有 被 发 现 而 已 。 老 牛 想到 ， 通 
常 软件 项 目 多 多 少 少 都 会 使 用 第 三 方 服务 ， 会 不 会 是 这 个 系统 使 用 的 第 三 方 服务 发 生 了 变化 ， 造 成 测试 脚本 运行 失败 ? 











老 牛 从 项 目 经 理 和 开发 人 员 处 了 解 系统 使 用 的 第 三 方 服务 情况 ， 确 认 了 系统 的 登录 模块 的 确 在 使 用 第 三 方 鉴 权 服务 。 这 时 ， 开 发 人 员 的 一 句 话 提醒 了 大 家 ， 他 告诉 者 牛 和 小 蔡 ， 最 近 客户 





对 这 个 第 三 方 的 鉴 权 系统 进行 了 升级 。 那 么 会 不 会 是 这 次 升级 造成 测试 脚本 运行 失败 呢 ? 


3 .真相 在 哪里 


查看 新 的 鉴 权 系统 使 用 手册 发 现 ， 出 于 安全 考虑 ， 鉴 权 系统 在 升级 后 ， 开 始 使 用 随机 字符 串 加 强调 用 的 安全 性 。 鉴 权 系 统 被 第 三 方 调用 时 会 发 送 一 个 随机 字符 串 给 第 三 方 系统 ， 在 调用 结 














可 


束 后 把 同一 个 字符 串 再 次 返回 给 第 三 方 系统 ， 我 们 可 以 理解 为 这 个 随机 字符 串 在 整个 调用 过 程 中 使 用 的 是 


























一 个 字符 串 。 但 关键 问题 是 鉴 权 系统 在 每 次 被 调用 时 都 会 生成 一 个 新 的 随机 字符 
串 ， 而 JMeter 在 录制 脚本 的 过 程 中 ， 只 记录 保存 了 当时 录制 时 生成 的 字符 串 ， 而 在 之 后 重新 执行 性 能 测试 脚本 时 还 继续 使 用 这 个 字符 串 ， 而 此 时 ， 这 个 随机 字符 串 对 鉴 权 系 统 来 说 已 经 过 时 失 








效 了 。 因 此 老 牛 初步 怀疑 是 这 次 增加 的 随机 字符 串 造 成 的 登录 脚本 失败 ， 但 此 时 仍 不 能 确定 这 就 是 问题 原因 ， 需 要 结合 代码 进行 调试 去 确认 问题 原因 。 








接着 ， 老 牛 请 开发 一 起 结对 调试 。 通 过 使 用 开发 本 地 代码 ， 去 看 后 台 抛 出 
踪 到 代码 内 部 ， 查 看 到 后 台 抛 出 异常 的 具体 原因 。 最 终 在 开发 的 本 地 环境 中 重 




















异常 的 原因 。 老 牛 把 JMeter 测 试 的 URL 指 向 本 地 开发 环境 后 ， 同 时 在 开发 的 代码 编辑 器 中 设置 了 调试 的 断 点 ， 跟 
现 了 这 个 问题 ， 并 且 看 到 代码 异常 中 报错 为 随机 字符 串 不 匹配 。 





此 时 ， 基 本 可 以 确定 问题 出 在 随机 字符 串 上 。 这 个 随机 字符 串 在 JMeter 录 制 的 脚本 中 的 许多 步骤 都 被 使 用 了 。 问 题 出 在 第 一 次 录制 的 脚本 在 录制 时 生成 了 一 个 字符 串 ， 回 放 时 仍然 在 使 用 


旧 的 字符 串 ， 因 此 造成 脚本 无 法 运行 。 


4 问题 解决 了 





如 何 让 JMeter 录 制 的 脚本 正常 运行 呢 》 显 然 仅仅 再 录制 一 次 是 不 可 行 的 。 因 为 再 次 录制 的 脚本 仍然 会 保存 该 次 录制 时 生成 的 随机 字符 串 ， 而 在 后 续 执 行 过 程 中 ， 这 个 字符 串 对 鉴 权 系统 来 





说 已 经 过 时 失效 了 。 好 在 Jmeter 中 提供 了 办 法 去 解决 这 个 问题 ! 





首先 ， 老 牛 和 小 蔡 一 起 查看 分 析 了 JMeter 中 Web 请 求 和 响应 时 所 包含 的 信息 ， 很 快 就 找到 了 鉴 权 系统 被 首次 调用 时 返回 的 这 个 随机 字符 串 ， 注 意 这 是 在 整个 调用 过 程 中 ， 第 一 次 出 现 该 









































随机 字符 串 ， 那 么 我 们 只 要 找到 一 个 方法 ， 在 Jmeter 录 制 脚本 中 保存 下 该 字符 串 供 后 续 步 又 使 用 即 可 。 通 常 程 序 员 在 写 程序 时 ， 可 以 使 用 一 个 变量 保存 字符 串 ， 而 在 Jmeter 中 提供 了 类 似 编 








程 的 方式 ， 在 Jmeter 中 可 以 使 用 正则 表达 式 匹配 的 方式 ， 把 随机 字符 串 保存 为 一 个 变量 ， 供 脚本 后 续 步 骤 使 用 。 


接着 ， 我 们 可 以 在 如 图 6-1 所 示 的 界面 中 看 到 ， 在 JMeter 中 有 一 个 用 来 处 理 HTTP 请 求 的 模块 ， 在 此 模块 中 可 以 使 用 正则 表达 式 匹 配 到 Web 请 求 和 响应 中 的 字符 串 ， 匹 配 后 ， 把 匹配 到 的 





字符 串 保 存 为 变量 ， 例 如 ${state_code}， 这 个 随机 字符 串 就 被 成 功 保存 为 一 个 变量 了 。 


























最 后 ， 我 们 还 需要 修改 脚本 后 续 步 骤 中 使 用 到 这 个 字符 串 的 地 方 ， 把 之 前 保存 的 过 时 的 随机 字符 串 用 变量 进行 替换 ( 见 医 








6-2) ， 这 样 重复 运行 性 能 测试 脚本 时 ， 整 个 过 程 中 都 会 使 用 该 
































次 新 生成 的 随机 字符 串 了 ! 因此 ， 再 次 运行 时 整个 性 能 测试 脚本 就 跑 通 了 。 











好 了 ， 你 可 以 正常 登录 了 ， 不 信 ， 试 一 试 ! 


Regular Expression Extractor 


Name: Regular Expression Extractor 


Comments: 
Apply to: 


© Main sample and sub-samples Main sample only Sub-samples only JMeter Variable 


Field to check 


@ Body Body (unescaped) Body as a Document Response Headers Request Headers 


Reference Name: state_value 





Regular Expression. <input type="hidden’ name="state" value="(,*)" 





Template: 415 


Match No. (0 for Random). 1 


Default Value: 


图 6-1 在 JMeter 中 用 正则 表达 式 匹 配 到 字符 串 并 设置 其 为 变量 





Apache JMeter (2.13 r1665067) 


口 | 鳃 | 量 || 9 加 | 大 | 号 人 | 站 回 +|=|< pb| 国 四 


v pr Test Plan 


2 HTTP Header Manager HTTP Request 


Y Thread Group Name: /api/oauth( 使 用 上 一 步 获得 的 数据 ) 
Y /login( 用 正则 获取 请 求 中 的 数据 


/多 Regular Expression Extr 
api/oauth( 使 用 上 一 步 获 得 8 Web Server Timeouts (milliseconds) 
| 


司 Work8ench Server Name or IP: ceshijiongshi Port Number: Connect: 


HTTP Request 


Comments; 


Implementation: 记 Protocol [http}: ?| Content em 


Path: /api/oauth 


Redirect Automatically Follow Redirects Use KeepAlive Use multipart/form-data for POST Browser-a 


Body Data 


Send Parameters With the Request; 





Value 
S{state_value} 


Detail Add Add from Clipboard Delete 


Send Files With the Request: 
File Path 











图 6-2 ”在 JMetet 的 后 续 请 求 中 把 对 应 字符 事 改 为 变量 
人 Rnina JMeter 


Apache JMetet 是 Apache 组 织 开发 的 基于 Java 的 压力 测试 工具 。 它 通过 启动 多 线程 模拟 用 户 访问 静态 和 动态 网 页 资源 ， 除 了 做 网 页 压力 测试 ，JMeter 也 可 以 做 接口 及 FTP 服 务 器 等 压力 测试 ， 
并 提供 多 样 性 的 测试 报告 。 此 外 ， 为 了 最 大 限度 的 灵活 性 ，JMetetr 允 许 使 用 正则 表达 式 去 获取 请 求 过 程 中 的 数据 ， 并 将 这 些 数据 使 用 在 测试 过 程 中 ， 同 时 允许 使 用 正则 表达 式 创建 断言 。 





人 @iRniRe 正则 表 这 式 


正则 表达 式 使 用 特定 语法 来 描述 、 匹 配 一 系列 符合 菜 种 模式 和 规则 的 字符 事 。 在 很 多 开发 工具 和 文本 编辑 器 里 ， 正 则 表达 式 常 被 用 来 检索 、 蔡 换 那 些 符合 菜 个 模式 的 文本 ， 或 者 校 验 符合 
某 种 规则 的 字符 事 。 


6.2 ”错误 的 HTTP 状 态 码 增加 了 服务 器 的 负担 


针对 用 户 提 交 的 错误 数据 ， 例 如 用 户 修改 URL 中 1D 的 值 为 非法 值 等 ， 页 面 应 该 返回 400 错 误 ， 而 不 应 该 是 500 错 误 ， 因 为 500 错 误会 消耗 更 多 的 服务 器 资源 。 所 以 在 提交 API 时 ， 需 要 对 数 
据 进 行 校 验 。 














做 性 能 测试 时 ， 测 试 人 员 一 般 都 关注 在 用 户 使 用 的 正常 功能 的 性 能 上 ， 对 于 性 能 的 优化 也 集中 在 可 处 理 的 API 请 求 数量 、 页 面 响应 时 间 等 因素 上 。 小 蔡 在 最 近 的 性 能 测试 中 发 现 ， 对 页 面 
请 求 失败 的 场景 进行 优化 ， 也 能 提高 服务 器 的 性 能 。 


小 蔡 从 产品 运 维和 人员 那里 得 知 ， 最 近 产 品 环境 中 页 面 的 错误 请 求 增加 了 很 多 ， 使 得 服务 器 压力 陡然 增 大 了 。 从 日 志 里 可 以 看 出 ， 很 多 请 求 是 因为 用 户 不 想 在 页 面 中 点 击 元 素 进 行 跳 转 ， 而 
直接 通过 修改 页 面 URL 参 数 来 访问 特定 页 面 造成 的 。 碰 巧 小 蔡 正 在 做 性 能 优化 ， 运 维 人 员 就 找 她 一 起 来 解决 这 个 问题 。 





详细 查看 日 志 后 ， 小 蔡 他 们 发 现 用 户 的 错误 访问 ， 得 到 服务 器 的 返回 都 是 “HTTP 500 Internal Server Error”， 这 个 返回 代码 意味 着 产品 后 台 代码 内 部 发 生 了 没有 预期 到 的 错误 ， 造 成 
服务 器 无 法 完成 用 户 的 请 求 。 但 实际 的 情况 不 是 这 样 ， 实 际 出 错 是 因为 用 户 输入 URL 中 数据 的 错误 导致 的 ， 开 发 人 员 在 处 理 这 种 情况 时 用 错 了 HTTP 状 态 码 。 











当 用 户 输入 错误 的 URL 参 数 并 进行 请 求 时 ， 不 应 该 由 服务 器 直接 处 理 这 条 请 求 ， 而 是 应 该 由 “数据 验证 ”模块 预先 进行 数据 正确 性 的 校 验 ， 只 有 数据 正确 的 请 求 才 会 发 送 给 API 进 行 处 
理 ， 这 样 能 在 一 定 程度 上 缓解 服务 器 的 压力 ( 见 图 6-3) 。 现 在 数据 验证 模块 并 没有 进行 数据 校 验 ， 导 致 携带 错误 URL 参 数 的 请 求 都 被 API 处 理 了 ， 服 务 器 压力 增 大 也 是 自然 的 。 








数据 





浏览 器 服务 器 


图 6-3 用 户 发 送 请 求 时 序 图 


知道 了 问题 所 在 ， 解 决 起 来 就 容易 多 了 。 既然 用 户 发 送 的 是 携带 错误 URL 参 数 的 请 求 ， 那 么 在 数据 校 验 模块 可 以 直接 给 用 户 返 回 “HTTP 400 Bad Request”， 代 表 着 用 户 请 求 的 语法 错 
， 无 法 被 服务 器 理解 ， 并 且 如 果 用 户 不 修改 URL， 这 个 请 求 不 会 被 浏览 器 重复 提交 。 





淋 


在 开发 人 员 对 数据 校 验 模块 添加 了 校 验 功能 之 后 ， 运 维 人 员 发 现 服务 器 的 压力 又 回落 到 之 前 的 正常 水 平 了 。 





最 近 产 品 有 一 个 大 的 功能 模块 上 线 ， 由 于 担心 产品 的 性 能 会 受到 影响 ， 所 以 小 蔡 被 分 配 去 做 性 能 测试 。 之 前 做 性 能 测试 时 使 用 的 是 JMeter， 所 以 小 蔡 这 次 也 选择 了 JMeter。 


由 于 对 性 能 测试 并 不 了 解 ， 小 蔡 先 分 析 之 前 的 性 能 测试 脚本 ， 发 现 这 些 脚本 基本 就 是 测试 用 例 的 JMeter 化 ， 按 照 用 户 在 界面 上 执行 的 操作 过 程 进行 性 能 测试 。 小 莹 询问 之 前 负责 性 能 测试 
的 测试 人 员 ， 了 解 到 这 些 脚本 是 通过 JMeter 录 制 后， 进行 一 些 比较 小 的 修改 后 形成 的 。 








小 葡 按 照 同 样 的 方式 制作 性 能 测试 脚本 ， 随 着 脚本 越 写 越 多 ， 她 发 现 这 么 做 效率 不 高 ， 维 护 成 本 也 比较 大 。 因 为 JMeter 使 用 的 是 自己 的 JMX 文 件 存储 测试 脚本 ， 没 办 法 通过 版 本 控制 工具 
进行 版 本 控制 ， 也 没有 办 法 像 编程 语言 编写 代码 那样 能 进行 封装 和 重用 ( 见 图 6-4) 。 


sample.jmx 


name="RandomTimer. range">${deviation}</ 
> 


guiclass="OnceOnlyControllerGui" testclass=" 

OnceQnlyController™” testname="Once Only Controller” enabled="true"/> 
< > 

< guiclass="HttpTestSampleGui"” testclass="HTTPSamplerProxy 

" testname="OQpen Home page"” enabled="true"> 

< name="HTTPsampler,.Arguments" elementType="Arguments" 
guiclass="HTTPArgumentsPanel” testclass="Arguments” enabled="true"> 
< name="Arguments.arguments"/> 

> 

name="HTTPSampler.domain"></ > 

name="HTTPSampler.port"></ > 

name="HTTPSampler.connect timeout"></ 

name="HTTPSampler. response timeout"></ 

name="HTTPSampler.protocol"></ > 

name="HTTPSampler. contentEncoding"></ 

name="HTTPSampler.path">/acquireAccount, jsp</ 

name="HTTPSamp ler.method">GET</ > 
name="HTTPSampler,.follow_redirects">true</ 
name="HTTPSampler.auto._redirects">false</ 
name="HTTPSampler.use_keepalive">true</ 
name="HTTPSampler.DO_MULTIPART _POST">false</ 
name="HTTPSampler.monitor">false</ > 

name="HTTPSamp ler.embedded url_re"></ 

> 


人 
> 


< 
< 
< 
< 
< 
< 
< 
-= 
< 
< 
< 
< 
< 
< 


guiclass="RegexExtractorGui” testclass="RegexExtractor”" 





图 6-4 JMeter 脚 本 不 便于 维护 


1. 小 莹 的 思考 





性 能 测试 是 为 了 测试 产品 能 满足 多 少 用 户 同时 访问 、 页 面 读 取 和 展示 速度 是 多 少 。 小 莹 发 现 其 实 同一 种 浏览 器 进行 泻 染 的 速度 是 一 定 的 ， 而 且 由 于 JMeter 并 不 会 测试 浏览 器 演 染 部 分 的 时 
间 ， 所 以 现 有 的 性 能 测试 脚本 不 会 提供 浏览 器 端 泻 染 的 时 间 数 值 。 


对 于 用 户 浏览 器 下 载 网 页 内 容 的 速度 ， 鉴 于 这 些 性 能 测试 脚本 都 是 在 和 服务 器 同一 地 域 的 服务 器 或 者 有 时 候 在 同一 内 网 网 段 上 运行 ， 所 以 这 个 网 络 带宽 都 比较 充足 ， 因 此 下 载 网 页 内 容 的 
速度 差别 并 不 大 。 而 且 不 同 国家 和 地 区 的 用 户 使 用 产品 时 ， 都 是 用 内 容 分 发 网 络 (CDN) 来 访问 网 络 ， 用 户 访问 的 网 页 实际 上 绝 大 部 分 都 是 从 本 区 域 的 服务 器 上 读 取 和 下 载 的 。 





在 性 能 测试 脚本 中 ， 主 要 测试 的 是 服务 器 并 发 和 服务 器 响应 的 速度 ， 这 也 同时 是 性 能 测试 的 需求 。 对 于 这 一 部 分 ， 就 不 需要 编写 那些 步骤 重复 和 复杂 的 、 不 利于 维护 的 、 运 行 时 间 宛 长 的 
脚本 了 ， 而 可 以 简化 为 测试 服务 器 对 前 台 提供 的 各 种 AP1， 这 样 就 不 用 编写 大 量 基于 前 台 用 户 操作 详细 步骤 的 各 种 性 能 测试 场景 ， 只 需要 针对 少量 而 明确 的 服务 进行 测试 即 可 。 








小 蔡 不 确定 自己 的 想法 是 不 是 正确 ， 于 是 和 老 牛 以 及 相关 开发 人 员 一 起 讨论 。 大 家 都 觉得 这 样 编写 、 执 行 和 维护 脚本 的 效率 更 高 ， 而 且 可 以 完全 满足 产品 和 项 目的 实际 需求 。 


小 蒙 按照 这 一 思路 重新 进行 性 能 测试 脚本 的 编写 ， 使 得 脚本 从 具有 繁杂 测试 过 程 和 步骤 的 测试 脚本 ( 见 图 6-5) ， 转 换 成 只 针对 服务 进行 测试 的 简单 脚本 ( 见 图 6-6) 。 可 以 看 到 这 两 张 图 
中 的 脚本 数量 差异 非常 大 ， 图 6-6 相 对 图 6-5 简 化 了 很 多 脚本 。 
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图 6-5 具有 繁杂 测试 过 程 和 步骤 的 测试 脚本 
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图 6-6 ”只 针对 服务 进行 测试 的 简单 脚本 


2. 小 蔡 的 一 点 收获 








这 种 测试 方法 大 大 提高 了 性 能 测试 的 效率 和 编写 性 能 测试 的 投入 产 出 比 ， 整 个 项 目 都 得 到 了 很 大 收益 。 尤 其 是 在 把 改进 后 的 性 能 测试 脚本 加 入 到 持续 集成 平台 后 ， 每 次 代码 提交 后 都 可 以 
快速 做 一 次 性 能 测试 。 








之 后 项 目 组 又 经 过 分 析 ， 重 新 整理 了 已 有 的 性 能 测试 脚本 ， 把 能 分 离 的 对 服务 进行 测试 的 部 分 ， 简 化 为 只 进行 服务 测试 的 性 能 测试 脚本 ， 而 不 再 使 用 过 去 用 户 操作 步骤 的 测试 方式 。 
人 后 展 知识 “内容 分 发 网 络 


内 容 分 发 网 络 (Content Delivery Netwotk 或 Content Distribution Netwo 未 ，CDN) 利用 最 靠近 每 个 用 户 的 服务 器 ， 去 更 快 、 更 可 靠 地 将 网 络 资源 分 发 给 用 户 。 内 容 分 发 网 络 所 需要 的 节点 数 
量 因 网 络 请 求 数量 而 不 同 ， 机 器 数量 可 能 会 超过 上 万 台 服 务 器 。 


6.4 ”服务 器 端 没有 考虑 分 页 而 导致 的 性 能 问题 





早 在 2006 年 的 时 候 ， 业 界 开始 流行 富 因特网 应 用 程序 (rich client) ， 例 如 Apache Flex (以 前 叫做 Adobe Flex) 。 很 多 产品 为 了 提供 给 用 户 更 好 的 动画 显示 效果 ， 也 采用 了 这 一 技术 。 
小 莹 测试 的 产品 ， 最 早 也 使 用 了 这 种 技术 。 


最 近 小 蔡 在 执行 回归 测试 时 ， 被 分 去 测试 用 户 后 台 搜索 商品 销售 和 价格 等 信息 的 管理 页 面 ， 发 现 了 一 个 由 于 开发 人 员 不 了 解 富 因特网 应 用 程序 特性 而 造成 的 性 能 问题 。 














在 这 个 管理 页 面 中 ， 最 主要 的 功能 是 用 户 进行 商品 搜索 和 结果 展示 ， 这 一 部 分 是 用 富 因特网 应 用 程序 技术 实现 的 〈 见 图 6-7) 。 








根据 商品 种 类 的 不 同 ， 有 些 商品 在 搜索 结果 中 可 以 进一步 显示 商品 详细 信息 ; 大 部 分 的 商品 搜索 结果 中 ， 都 支持 按照 搜索 结果 的 商品 详细 信息 进行 排序 ， 例 如 : 按照 商品 名 称 、 单 价 、 数 
量 、 生 厂商 等 信息 进行 排序 。 对 于 搜索 数据 多 于 50 条 的 结果 ， 还 会 进行 分 页 显示 。 





| Category ID vv lsEqualTo | Beverages 





|Category ID ~ lsEqualTe v |Produce 


-| Discontinued v lsEqualTo v | False x 








Price v ls Less Than Or Equal To | $100.00 | + XX 





| 一 cea | | fikter 





Add Condition 


Category ID Unit Price v Units ln Stock v Units On 


Add Group 18.0000 39 
] Delete 





19.0000 py 
Uncle Bob's Organic Dried Pears 30.0000 15 
Tofu 23.2500 35 


Sasquatch Ale 14.0000 11]1 





Steeleye Stout 18.0000 20 
Chartreuse verte 18.0000 69 
Ipoh Coffee 46.0000 17 
Manjimup Dried Apples 53.0000 20 








图 6-7 管理 页 面 上 商品 搜索 和 结果 展示 


小 蔡 对 这 一 部 分 功能 进行 的 是 回归 测试 ， 是 在 类 生产 环境 上 执行 的 ， 选 用 的 也 是 (无论 是 从 数量 还 是 真实 性 ) 非常 接近 生产 数据 的 测试 数据 。 由 于 真实 生产 数据 中 大 客户 的 数据 量 都 非常 
庞大 ， 所 以 她 选取 了 几 个 大 客户 进行 测试 。 结 果 在 测试 中 ， 小 蔡 发 现 ， 不 仅仅 是 在 用 户 进行 第 一 次 搜索 时 ， 页 面 需要 读 取 很 长 时 间 才 能 返回 结果 ， 而 且 在 搜索 结果 中 进行 重新 排列 ， 包 括 打 开 
下 一 级 的 商品 信息 时 ， 页 面 也 需要 很 长 时 间 才 能 操作 ， 有 时 甚至 长 达 1 分 多 钟 ， 这 对 于 用 户 来 说 是 完全 不 可 以 接受 的 。 


























小 莹 把 自己 的 发 现 告 诉 开发 人 员 ， 开 发 人 员 告 诉 她 ， 他 们 进行 自 测 的 时 候 ， 完 全 没 考虑 到 富 因特网 应 用 程序 会 出 现 性 能 问题 ， 所 以 代码 中 把 服务 器 的 数据 一 股 脑 地 都 发 送 给 前 台 的 富 因 特 
网 应 用 程序 进行 处 理 。 富 因特网 应 用 程序 的 处 理 速度 显然 不 够 快 ， 当 前 台 进行 搜索 结果 重新 排列 、 显 示 更 详细 的 商品 信息 ， 以 及 分 页 显示 等 运算 时 ， 需 要 对 所 有 数据 都 进行 操作 。 而 如 果 这 几 
种 需要 大 运算 量 的 操作 结合 在 一 起 ， 就 更 容易 造成 性 能 问题 。 
























































开发 人 员 还 告诉 小 莹 ， 因 为 使 用 了 富 因特网 应 用 程序 ， 修 复 这 样 的 问题 从 技术 角度 上 很 困难 ， 同 时 业务 需求 又 导致 不 能 减少 发 送 的 数据 量 ， 所 以 还 得 和 业务 方 一 起 讨论 解决 方案 。 
































经 过 长 时 间 的 讨论 ， 大 家 得 出 结论 : 对 于 用 户 搜索 和 管理 商品 信息 ， 并 不 需要 复杂 的 动画 效果 和 展示 效果 ， 没 有 必要 使 用 富 因特网 应 用 程序 的 技术 ， 这 样 就 可 以 简化 开发 的 技术 难度 ， 也 
能 解决 小 蔡 发 现 的 性 能 问题 。 




















但 是 老 牛 告诉 小 蔡 这 个 问题 的 根本 原因 还 是 在 于 服务 器 没有 设计 分 页 传输 数据 ， 这 样 既 会 造成 服务 器 一 股 脑 地 把 所 有 结果 都 发 送 给 客户 端 /浏览 器 ， 而 很 大 程度 上 用 户 可 能 仅仅 想 要 获取 
前 一 两 页 的 内 容 ， 这 就 大 大 增加 了 服务 器 带宽 和 流量 的 消耗 。 同 时 这 样 使 用 户 只 有 在 完成 了 服务 器 所 有 数据 的 处 理 和 传输 之 后 ， 才 能 看 到 自己 搜索 的 数据 ， 而 这 一 过 程 由 于 处 理 和 传输 数据 量 
很 大 ， 所 以 速度 很 慢 ， 对 用 户 是 很 不 友好 的 。 如 果 设 计 了 服务 器 的 分 页 机 制 ， 则 会 大 大 改善 这 一 问题 。 这 就 如 同 大 家 觉得 Chrome 浏 览 器 总 是 很 快 一 样 ， 并 不 是 Chrome 有 网 络 加 速 的 功能 ， 
而 更 多 的 是 Chrome 把 用 户 希 望 看 到 的 内 容 第 一 时 间 展 示 出 来 ， 同 时 继续 获取 后 续 的 数据 。 





























在 老 牛 的 坚持 下 ， 项 目 组 决定 把 服务 器 的 分 页 机 制作 为 下 一 阶段 的 技术 提高 时 





lu 


点 提 上 开发 日 程 表 。 


全 展 #iR 富 因 特 网 应 用 程序 


富 因 特 网 应 用 程序 (Rich Intemet Applications，RIA) ， 是 更 近似 于 传统 桌面 的 网 络 应 用 系统 ， 用 户 使 用 富 因 特 网 应 用 时 ， 最 直观 的 体验 是 界面 响应 比 网 页 要 快 很 多 。RIA 系 统 将 大 部 分 处 
理工 作 从 服务 器 端 移植 到 客户 端 ， 仅 保留 一 些 必要 数据 与 服务 器 端 进行 信息 交互 。 





6.5 ”服务 器 端 压力 测试 








开始 之 前 ， 我 们 先 来 交代 一 下 背景 : 小 蔡 所 在 的 项 目 组 有 三 个 部 署 环境 ， 分 别 是 : 测试 环境 、 产 品 环境 和 类 产品 环境 。 其 中 ， 类 产品 环境 和 产品 环境 极为 相似 ， 从 服务 器 负载 均衡 配置 到 





什么 实际 意义 呢 ， 实 际 上 ， 类 产品 环境 是 为 产品 的 正式 发 布 做 准备 的 ， 通 常 认 为 ， 在 类 产品 环境 

















部 署 方式 ， 甚 至 连 源 代 码 打 成 的 部 署 包 都 极为 相似 。 那 为 什么 要 弄 出 一 对 双胞胎 环境 来 呢 ， 和 
做 测试 相当 于 在 真实 产品 环境 中 做 测试 。 

最 近 小 蔡 所 在 的 项 目 组 计划 做 一 次 上 线 部 署 ， 小 蔡 需 要 执行 服务 器 端 压力 测试 来 监测 服务 器 在 高 负荷 访问 情况 下 是 否 能 正常 提供 服务 。 
目 返回 结果 都 在 15 毫 秒 内 。 人 小 蔡 原 本 以 为 测试 到 此 就 该 结束 














小 莹 起 初 在 类 产品 环境 上 执行 了 压力 测试 ， 之 后 发 现 结果 不 错 : 对 于 Web 服 务 测试 ， 服 务 器 能 支持 每 分 钟 上 万 次 访问 ， 而 


了 ， 但 另外 一 个 项 目 组 正好 使 用 了 小 莹 项 目 组 开发 的 组 件 ， 并 且 部 署 到 产品 环境 后 出 现 了 性 能 告警 ， 因 此 小 蔡 决 定 在 产品 环境 上 再 进行 一 次 性 能 测试 。 


团队 讨论 后 ， 考 虑 到 这 是 第 一 次 在 产品 环境 部 署 ， 虽 然 部 署 已 经 完成 ， 但 还 没有 用 户 使 用 ， 所 以 在 目 
只 能 实现 每 分 钟 350 次 ; 在 类 






























































通常 情况 下 不 允许 在 产品 环境 上 做 压力 测试 ， 以 免 影响 用 户 的 正常 使 用 。 但 是 小 蔡 和 
股 做 压力 测试 影响 不 大 。 最 后 测试 结果 令 傍 目 结 舌 : 产品 环境 的 服务 器 响应 时 间 非 常 差 ， 在 类 产品 环境 上 可 以 达到 每 分 钟 上 万 次 的 访问 ， 而 在 产品 环境 中 














产品 环境 中 的 返回 结果 平均 在 15 毫 秒 之 内 ， 而 在 产品 环境 中 平均 返回 时 间 却 是 17000 毫 秒 。 
湖 了 对 Web 项 目 进行 压力 测试 的 过 程 并 分 析 了 性 能 差异 的 原因 。 首 先 需要 明确 的 是 ， 对 Web 项 目 进行 压力 测试 一 般 包 括 服 








回 





为 什么 相似 的 环境 下 ， 所 得 的 结果 却 大 相 径 庭 呢 ? 小 蔡 仔 组 
务 器 端的 压力 测试 、 单 个 页 面 加 载 时 间 的 测试 ， 以 及 对 网 页 中 其 他 可 以 优化 的 组 件 进行 性 能 测试 等 。 这 里 只 关注 服务 器 端的 压力 测试 。 











(1) 如 何 寻 找 测试 点 














执行 压力 测试 的 第 一 步 要 分 析出 测试 所 针对 的 功能 点 。 小 蔡 所 在 项 目 这 次 上 线 功能 是 网 页 首页 的 改动 ， 小 蔡 确 定 出 以 下 测试 点 。 

















1) 对 加 载 首页 做 压力 测试 。 











2) 对 页 面 中 地 址 输入 框 的 自动 提示 功能 进行 测试 。 




















“ 西 稍 门 ”、“ 西 工大 ”等 含有 “ 西 ” 的 信息 ， 这 个 自动 提示 响应 时 间 太 长 会 影响 用 户 体验 。 同 时 ， 小 蔡 和 开 发 


地 址 输入 框 有 自动 提示 功能 ,例如 输入 “ 西 ”， 系 统 会 提示 “ 西 影 路 ”、 
EF 何 问题 ， 所 以 小 蔡 决 定 不 对 这 个 Web 服 务 功 能 进行 压力 测试 了 。 


使 用 的 Web 服 务实 际 上 已 在 另 一 个 产品 的 产品 环境 中 运行 很 久 了 ， 至 今 未 出 现 过 人 


























人 员 沟 通 后 了 解 到 ， 自 动 提 示 功 能 后 台 





3) 对 “附近 区 域 ”服务 功能 进行 测试 。 





























当 用 户 选 择 一 个 地 址 ， 系 统 会 调用 一 个 附近 区 域 服务 来 查询 其 附近 区 域名 字 列 表 。 例 如 用 户 选 择 “ 西 稍 门 ”， 附 近 区 域 服务 会 顺便 加 载 “南小 蔡 ”、 “西门 ” 等 。 小 蔡 项 目 调用 的 这 个 服 
务 是 基于 其 他 项 目 组 开发 的 “附近 区 域 ”Web 服 务 的 “二 次 封装 ”。 人 小 蔡 猜 测 在 这 个 过 程 中 ， 可 能 存在 由 于 “二 次 包装 ”造成 的 性 能 问题 ， 所 以 确定 这 是 一 个 测试 点 。 


























4) 选择 功能 的 测试 。 
面 有 一 些 单 选 框 、 多 选 框 ， 在 小 蔡 做 基本 手动 测试 点 击 多 次 之 后 ， 直 观感 觉 响 应 时 间 会 变 慢 。 举 个 例子 ， 多 选 框 使 用 JavaScript， 用 户 选 择 一 个 选项 后 ， 就 会 调用 一 段 复 杂 钦 
E 力 测试 时 就 需要 模仿 大 量 请 求 去 并 发 调用 这 段 复 杂 的 逻辑 或 者 调用 去 后 台 请 求 数据 的 服务 来 观察 性 能 问题 。 值 得 一 








改版 后 的 页 
辑 或 者 到 后 台 请 求 数据 ， 这 让 用 户 觉得 反应 很 慢 。 这 种 情况 下 ， 小 蔡 在 做 有 
提 的 是 ， 如 果 页 面 使 用 的 是 通用 的 HTML 页 面 组 件 ， 就 不 会 出 现 上 述 性 能 问题 。 
























































(2) 确定 需要 达到 的 性 能 指标 





力 测试 有 了 指标 。 小 蔡 所 在 项 目 之 前 并 没有 这 么 做 过 ， 那 现在 怎么 办 呢 ? 小 蔡 手 头 这 个 项 目 是 旧 的 手机 版 网 站 的 改 














一 些 项 目 在 立项 时 会 定 下 项 目 需要 支持 的 性 能 指标 ， 这 就 让 之 后 的 所 
版 ， 小 莹 灵光 一 现 一 是 不 是 可 以 用 旧 网 站 的 用 户 访问 数据 来 确定 性 能 指标 呢 ? 





1) 首页 压力 测试 性 能 指标 。 











旧 网 站 使 用 了 NewRelic 做 在 线性 能 检测 工具 ， 在 过 去 的 3 个 月 中 ， 平 均 访问 量 是 65.8 个 请 求 /每 分 钟 (rpm) ， 最 大 访问 量 是 162rpm。 改 版 后 的 新 手机 版 网 站 期 待 有 更 多 的 用 户 使 用 ， 做 


压力 测试 时 自然 不 能 用 最 大 访问 量 162rpm， 需 要 用 5 ~ 10 倍 估 值 方法 ， 即 用 过 去 三 个 月 的 平均 访问 量 65.8x10=658rpm。 这 样 首 页 压力 测试 指标 就 确定 出 来 了 。 





























2) “附近 区 域 ”Web 服 务 性 能 指标 。 





区 域 ”的 Web 服 务 来 说 ， 这 个 数据 需要 做 变化 吗 ” 如 果 需 要 ， 该 如 何 计算 呢 ? 





首页 做 压力 测试 的 性 能 指标 是 658rpm， 那 么 对 “附近 
































658rpm 表 示 每 分 钟 有 658 个 用 户 访问 了 页 面 。 每 个 用 户 访问 页 面 后 ， 在 一 分 钟 内 使 用 “附近 区 域 ”服务 的 次 数 会 不 止 一 次 。 在 用 户 选 择 区 域 后 附近 区 域 会 被 自动 提示 出 来 ， 当 用 户 点 击 
一 个 附近 区 域 ， 又 会 提示 新 的 附近 区 域 ， 而 用 户 是 可 以 连续 点 击 的 ， 那 么 在 用 户 每 分 钟 连续 点 击 多 次 的 过 程 中 ， 考 虑 到 用 户 查看 附近 区 域 的 时 间 、 用 户 的 思考 时 间 、 用 户 的 点 击 时 间 ， 小 蔡 大 
概 得 出 平均 每 次 选择 区 域 需要 花费 3 秒 钟 。 那 么 一 个 用 户 一 分 钟 内 连续 点 击 ， 可 能 会 使 用 20 次 “附近 区 域 ”服务 。 那 么 “附近 区 域 ”服务 需要 支持 每 分 钟 658x20=13160 次 访问 。 


















































3) 新 版 上 线 后 用 户 访问 数量 不 断 增 加 怎么 办 ? 








对 于 用 户 访问 数量 不 断 增加 的 情况 ， 小 蔡 所 在 团队 会 根据 在 线性 能 监控 数据 变化 来 进行 调整 : 





“ 增加 服务 器 的 节点 ; 
“ 提高 单 台 服务 器 的 性 能 支撑 能 力 。 
(3) 进行 压力 测试 


1) 对 首页 做 压力 测试 一 一 是 否 能 支持 658rpm 的 访问 。 























小 蔡 打 开 JMeter 性 能 测试 工具 ， 设 定 50 个 线程 并 发 访问 ， 共 访问 手机 版 首页 5 分 钟 。 同 时 小 蔡 在 JMeter 中 设置 了 HTTP Header Manger， 设 置 User-Agent 的 值 为 
Mozilla/5.0 (iPhone; CPU iPhone OS 9 1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1， 从 而 准确 地 模拟 出 在 iPhone 手 





机 上 打开 网 页 的 效果 。 





为 什么 要 在 JMeter 中 进行 一 定 的 设置 呢 ? 由 于 页 面 为 响应 式 页 面 ， 这 就 意味 着 网 站 页 面 不 仅 可 以 根据 屏幕 大 小 自动 调整 页 面 元 素 位 置 以 及 是 否 隐藏 或 显示 一 些 页 面 元 素 ， 还 可 以 通过 后 台 


代码 针对 大 小 不 同 屏幕 而 生成 不 同 内容 。 所 以 ， 通 过 设置 一 定数 值 ， 可 以 将 手机 页 面 效果 更 准确 地 呈现 出 来 。 























6-8 是 JMeter 运 行 后 的 结果 。 
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Aggregate Report 


Name: Aggregate Report 
Comments: 
Write results to file / Read from file 


Filename 


Browse… Log/Display Only: Errors Successes Configure 





| Label 
[homePaoeL . 
TOTAL 


90% Line 
5740 
5740 


Average 
2884 
2884 


95% 





99% Line 
15144 
15144 


Line 
9096 
9096 


Min Max 
30682 


30682 


Error % 
0.00% 
0.00% 


Throughput 
16.9/sec 
16.9/sec 


KB/sec 
526.6 | 
526.6 


图 6-8 JMetet 运 行 结果 


小 莹 看 到 Samples (请 求 数 ) 是 5172 次 ， 平 均 每 分 钟 是 1034.4 次 ， 接 着 她 打开 NewRelic 在 线性 能 监控 软件 进行 确认 ， 如 图 6-9 所 示 。 


TIME PICKER 


Last 3 hours ending now 


SERVERS 


All servers 


Web transactions time ~ 





164 ms 


APP SERVER 


5.738 


四 BROWSER 


0.74 [0.1] 0.9 [7.0]* 


APP SERVER 四 BROWSER 


1 er ea | 


© 
End User Beppessnad| 


Apdex score @ 





Throughput 
3000 


2000 


1000 


© 
1PM 8:00 PM 8:3 


10:00 PM 


PM 9:30 PM 10:00 PM 


图 6-9 NewRelic 在 线性 能 检测 图 





小 蔡 看 到 在 NewRelic 显 示 的 每 分 钟 请 求 数值 在 顶峰 持续 约 4 分 钟 ， 其 每 分 钟 请 求 数 一 直 是 2000 次 左右 。 


号?”NewRelic 显 示 的 和 在 JMeter 中 显示 的 1034.4rpm 不 一 致 。 原 因 何 在 ? 


小 莹 打开 JMeter 发 送 请 求 的 日 志 界 面 寻找 原 





是 www.example.com/landingpage。 


进行 了 2000 次 请 求 。 


因 ， 原 来 在 JMeter 中 发 送 请 求 的 URL 实 际 上 执行 了 2 次 ， 比 如 : 第 一 次 是 www.example.com， 第 二 次 
项 目 组 给 第 一 个 URL 做 了 跳 转 ， 当 用 户 访问 第 一 个 URL 时 ， 直 接 把 页 面 重新 定向 到 第 二 个 URL 上 。 所 以 在 JMeter 看 到 的 是 1000rpm， 实 际 上 对 服务 器 


做 压力 测试 该 选 哪个 ， 用 第 一 个 URL 还 是 第 二 个 ? 考虑 过 后 ， 小 蔡 决 定 用 第 一 个 URL 做 压力 测试 。 第 一 个 URL 是 一 级 域名 ,访问 页 面 ， 用 户 当然 更 倾向 于 一 级 域名 了 。 





通过 这 个 例子 ， 小 蔡 总 结 了 下 使 用 











JMeter 做 压力 测试 需要 注意 的 事项 。 用 JMeter 可 以 给 服务 器 端 加 压 ， 但 是 加 压 的 数据 并 不 能 真实 反映 浏览 器 打开 页 面 的 情况 。 在 加 压 的 这 段 时 间 中 


NewRelic 上 显示 的 浏览 器 泻 染 时 间 是 0 秒 。 而 正常 使 用 浏览 器 打开 一 个 页 面 时 ， 除 了 下 载 网 页 代码 ， 还 会 执行 JavaScript、CSS 等 脚本 ,但 JMeter 本 身 并 没有 JavaScript 引 擎 ， 也 不 会 泻 染 页 


面 上 的 JavaScript、CSS 以 及 HTML 5 的 3D 效 果 。 另 多 
花费 的 时 间 也 会 有 明显 差别 。 








那 网 速 对 测试 结果 是 否 存 在 影响 ?这 次 小 蔡 是 在 国内 做 压力 测试 ， 而 测试 目标 处 于 国 


， 在 JMeter 里 是 使 用 一 个 线程 去 读 取 一 个 网 页 ， 而 在 浏览 器 中 ， 会 同时 发 出 多 个 线程 去 读 取 网 页 ， 因 此 JMeter 和 浏览 器 下 载 完 一 个 网 页 





罗 
时 





降落 到 300 次 。 后 来 发 现 ， 这 与 公司 网 络 有 关 ， 如 果 网 络 好 ， 访 问 


国外 服务 器 能 压 到 1000 次 ， 网 络 不 好 ， 则 只 能 压 到 300 次 ， 这 就 是 网 络 速度 对 JMeter 测 试 结果 的 


外 的 服务 器 上 。 虽 然 多 数 情况 下 性 能 测试 结果 较 好 ， 但 偶尔 几 次 发 现 服务 器 响应 次 数 从 每 分 钟 1000 次 
响 。 因 此 对 服务 器 端 做 压 


中 4 
E34 


力 测试 时 ， 比 较 好 的 方式 是 压力 测试 脚本 运行 在 不 受 网 络 影响 或 者 受 影响 比较 小 的 环境 中 。 一 般 这 种 情况 下 ， 小 蔡 会 把 压力 测试 脚本 运行 在 国外 同 区 域 的 机 器 上 ， 或 者 运行 在 和 网 页 服务 器 同 


内 网 网 段 的 机 器 上 ， 这 样 可 以 比较 好 地 排除 网 络 因素 对 测试 结果 的 影响 。 





小 药 总 结 : 服务 器 可 以 支持 每 分 钟 1000 次 以 上 页 面 的 请 求 ， 超 过 了 每 分 钟 658 次 页 面 的 性 能 需求 ， 而 且 同 时 可 以 看 到 服务 器 端的 内 存 和 CPU 使 用 率 都 在 合理 范围 内 ， 因 此 性 能 结果 满足 了 


预期 指标 。 


2) “附近 区 域 ”的 Web 服 务 是 否 能 支持 13160rpm 的 访问 量 。 


在 类 产品 环境 中 ， 小 蔡 同 样 使 用 JMeter 对 “附近 区 域 ” 的 Web 服 务 做 压力 测试 ， 被 测试 服务 的 URL 如 下 : 


https://api-mockwebsite.com/nearby?location= 西 稍 门 


从 开发 团队 小 蔡 得 知 ， 这 个 URL 针 对 具体 地 址 还 没有 做 缓存 处 理 ， 但 以 后 会 增加 这 个 


功能 ， 那 用 同一 个 URL 去 重复 测试 会 出 现 每 次 都 是 从 内 存 的 缓存 中 读 取 数 据 速度 ， 测 试 结果 会 变 得 不 真实 。 但 是 其 实在 真实 环境 中 ， 大 量 的 用 户 会 使 用 不 同 的 地 址 进行 访问 。 


功能 。 也 就 意味 着 ， 目 前 压力 测试 阶段 可 以 用 同一 个 URL 





E 复 进行 压力 测试 ， 但 是 如 果 以 后 加 了 缓存 
因此 还 是 要 避免 














使 用 同一 个 URL 进 行 重复 测试 。 








所 以 小 莹 从 Wiki 页 面 查 到 该 网 站 所 在 国家 所 有 区 域 的 列表 ， 从 中 选择 了 大 约 1000 条 ， 使 用 JMeter 的 参数 化 功能 ， 让 JMeter 的 多 线程 轮 询 访问 这 1000 个 URL。 由 此 看 到 ， 如 果 用 户 已 经 选 
择 了 “西门 、 水 司 、 西 北大 学 ”三 个 地 址 ， 那 么 当 用 户 点 击 “ 附 近 区 域 ” 的 时 候 ， 访 问 服务 的 URL 会 变 














https://api-mockwebsite.com/nearby?location= 西 门 %3B 水 司 %3B 西 北大 学 











关键 是 ， 每 次 访问 新 的 “附近 区 域 ” 时 会 把 用 户 之 前 选择 的 所 有 区 域 都 加 到 URL 中 ， 因 此 在 JMeter 性 能 测试 时 ， 需 要 模拟 真实 用 户 ， 不 要 使 用 单一 的 地 址 ， 而 是 使 用 多 个 地 址 加 到 URL 
后 。 于 是 小 蔡 写 了 一 段 简 单 的 Java 代 码 ， 把 之 前 从 Wiki 上 找到 的 地 址 拼 成 了 1000 个 不 同 的 URL， 每 个 URL 使 用 5 个 不 同 地 址 。 例 如 有 7 个 地 址 “1，2，3，4，5，6，7”， 代 码 会 生成 3 个 不 同 
的 地 址 串 , 分 别 是 “1, 2, 3, 4, 5”， "2, 3, 4, 5, 6” 和 “3, 4, 5, 6,7"。 






































小 蒙 开始 执行 压力 测试 ， 在 JMeter 中 50 个 进程 并 发 访问 5 分 钟 后 ， 看 到 NewRelic 的 性 能 数据 在 这 5 分 钟 内 最 高 的 并 发 访问 量 是 12910 个 请 求 /每 分 钟 。 并 且 在 JMeter 的 日 志 中 访问 全 部 成 
功 ,没有 出 现 错误 。 











小 莹 总 结 : 服务 器 可 以 支持 12910rpm 访 问 附近 区 域 Web 服 务 的 请 求 ， 略 小 于 之 前 预 估 的 13160rpm，13160 这 个 数值 是 根据 过 去 三 个 月 的 访问 平均 值 乘 以 10 得 到 的 ， 实 际 值 有 所 浮动 在 常理 
之 中 。 


(4) 性 能 差异 化 分 析 








小 莹 在 第 三 步 结束 之 后 本 以 为 这 次 对 服务 器 端 压力 测试 告 一 段 路 了 ， 谁 料想 另 一 个 项 目 组 调用 小 蔡 组 这 个 功能 组 件 并 部 署 到 产品 环境 后 出 现 性 能 预警 ， 难 道 小 蔡 的 性 能 测试 没有 履 盖 全 
吗 ? 




















于 是 小 蔡 决 定 在 还 没有 太 多 真实 用 户 的 产品 环境 上 做 一 次 性 能 测试 。 具 体 原 因 前 边 已 经 说 明了 ， 这 里 就 不 多 说 了 。 人 小 蒙 发 现 压力 测试 的 结果 显示 产品 环境 的 服务 器 响应 时 间 非 常 差 ， 在 类 
能 


产品 环境 上 可 以 达到 每 分 钟 上 万 次 的 访问 ， 但 是 在 产品 环境 中 只 能 实现 每 分 钟 350 次 的 访问 。 在 类 产品 环境 的 返回 结果 平均 在 15 毫 秒 之 内 ， 但 是 在 产品 环境 中 的 平均 返回 时 间 是 17000 毫 秒 。 









































在 产品 环境 上 ，“ 附 近 区 域 ” 的 性 能 响应 数据 不 能 达到 期 望 ， 那 如 何 修复 性 能 问题 呢 ? 开 发 人 员 得 知 测 斌 结果， 开始 着 手 寻 找 产 品 环境 的 性 能 瓶颈 ， 之 前 大 家 都 认为 产品 环境 和 类 产品 环 
境 基 本 一 样 ， 产 品 环境 上 出 现 了 这 样 的 性 能 问题 ， 着 实 让 大 家 料想 不 到 。 























开发 人 员 和 网 络 运 维 人 员 一 起 协同 工作 ， 发 现 小 蔡 所 在 项 目的 服务 器 目前 都 在 亚马逊 云 平台 上 ， 但 是 访问 “附近 区 域 ” 这 个 Web 服 务 会 调用 公司 在 国外 数据 中 心服 务 器 上 的 程序 。 亚 马 逊 
云 和 国外 数据 中 心服 务 器 之 间 的 通信 有 两 种 方式 : 公 网 和 专线 。 在 出 现 性 能 问题 后 ， 团 队 的 开发 人 员 把 通过 公 网 访问 的 方式 改 为 通过 专线 访问 ， 之 后 再 做 一 次 性 能 测试 ， 这 时 看 到 在 产品 环境 
上 的 测试 数据 和 在 类 产品 环境 上 的 测试 数据 一 致 ， 都 达到 了 项 目的 性 能 要 求 。 






























































实际 上 ， 类 产品 环境 和 产品 环境 最 初 都 是 使 用 公 网 访问 数据 中 心 的 ， 而 不 是 使 用 专线 访问 数据 中 心 。 那 为 什么 在 类 产品 环境 上 压力 测试 结果 达标 ， 而 在 产品 环境 上 测试 不 达标 呢 ? 为 什么 
产品 环境 必须 要 使 用 专线 才能 达到 性 能 要 求 呢 》 这 就 需要 开发 人 员 和 网 络 运 维 人 员 进一步 调试 分 析 了 。 









































整体 来 说， 做 服务 器 端 压力 测试 可 以 使 用 的 工具 很 多 ， 包 括 JMeter、LoadRunner 等 ， 但 是 基本 思路 都 一 致 : 首先 寻找 需要 做 的 性 能 测试 点 ， 然 后 确定 需要 达到 的 性 能 指标 ， 最 后 在 测试 
中 根据 实际 情况 判断 是 否 需要 设置 参数 化 等 细节 ， 并 分 析 性 能 测试 数据 ， 找 出 疑惑 点 ， 究 其 原因 ， 最 终 确 定性 能 测试 结果 是 否 有 效 ， 如 果 性 能 测试 结果 确实 有 问题 ， 则 要 考虑 下 一 步 的 性 能 调 
优 。 



































6.6 ”前端 性 能 测试 的 思考 点 和 两 个 工具 


给 服务 器 端 做 压力 测试 ， 能 验证 服务 器 的 并 发 响应 能 力 是 否 满足 最 终 用 户 使 用 ， 但 这 个 结果 不 能 反映 用 户 打开 一 个 网 页 需要 多 长 时 间 。JMeter 本 身 并 不 是 一 个 浏览 器 ， 用 来 做 服务 器 端 压 
力 测试 时 ， 它 不 会 去 执行 页 面 上 的 JavaScript 脚 本 ， 也 不 会 去 泻 染 HTML53D 效 果 ， 因 此 从 JMeter 上 看 到 的 服务 器 返回 时 间 ， 和 用 户 真 正 打 开 页 面 所 需要 的 时 间 之 间 存 在 着 一 定 的 差别 。 为 了 
保障 用 户 打开 网 页 的 速度 符合 项 目 最 初 设计 需求 ， 就 需要 测试 用 户 打开 页 面 的 真实 时 间 ， 以 发 现 当前 页 面 还 需要 进行 哪些 优化 。 




































































1. 进 行 页 面 加 载 速度 测试 需要 思考 哪些 点 





假设 最 初 去 执行 页 面 加 载 性 能 的 测试 ， 在 没有 对 应 性 能 测试 工具 的 情况 下 ， 我 们 手工 进行 ， 需 要 考虑 哪些 点 呢 ? 





(1) 判断 网 站 的 真实 用 户 在 哪里 





用 浏览 器 自 带 工具 ， 例 如 使 用 Chrome 的 Inspector 查 看 网 页 下 载 所 需 时 间 的 信息 。 第 一 个 问题 是 使 用 者 会 在 哪里 打开 这 个 网 页 ”如 果 这 个 网 站 的 服务 器 在 美国 ， 那 么 在 中 美 两 地 打开 页 面 
会 由 于 网 络 带宽 的 大 小 和 网 络 传递 过 程 中 的 延迟 等 现实 因素 ， 导 致 两 者 测试 结果 存在 差异 。 


























所 以 一 般 选择 该 网 站 的 主要 用 户 群 所 在 地 理 区 域 作 为 测试 地 点 。 如 果 网 站 用 户 群 集中 在 美国 ， 那 就 远程 登录 到 物理 位 置 在 美国 的 一 台 测试 机 ， 在 测试 机 上 打开 网 站 ， 可 以 获得 对 应 的 测试 
结果 数据 。 如 果 网 站 被 世界 各 地 的 用 户 使 用 ， 那 么 测试 地 点 就 要 对 应 进行 变化 ， 需 要 登录 到 多 台 分 布 在 世界 各 地 的 测试 机 上 做 测试 。 














(2) 多 次 测试 获取 平均 值 








实际 上 打开 一 个 网 站 ， 用 Chrome 的 Inspector 可 以 看 到 每 次 下 载 完 网 页 所 需 时 间 并 不 完全 相同 ， 这 跟 网 络 延迟 等 因素 有 关 。 只 测试 一 次 ， 测 试 结 果 自 然 不 会 准确 ， 那 么 可 以 通过 多 次 测试 
下 载 时 间 求 平均 值 ， 反 映 网 页 下 载 速度 即 可 。 





(3) 第 一 次 加 载 时 间 和 重复 加 载 时 间 











网 页 中 很 多 图 片 或 者 JS 文件 、CSS 文 件 等 都 被 设置 了 缓存 时 间 ， 所 以 一 段 时 间 内 浏览 器 在 重复 打开 该 页 面 时 ， 都 会 从 本 地 缓存 中 读 取 这 些 文件 而 不 是 再 次 从 网 上 下 载 ， 这 样 可 以 有 效 缩短 
页 面 打 开 时 间 。 












































小 莹 疑惑 的 是 ， 获 取 网 页 打开 速度 数据 时 ， 应 该 清空 本 地 缓存 还 是 使 用 本 地 缓存 来 进行 测试 》 和 老 牛 讨论 后 了 解 到 : 看 文件 缓存 时 间 。 








1) 如 果 缓存 时 间 是 30 秒 。 那 么 用 户 在 多 数 情况 下 打开 这 个 网 页 时 ， 浏 览 器 都 会 重新 下 载 所 有 数据 ， 因 此 实际 测试 时 应 该 使 用 清空 本 地 缓存 的 方式 进行 测试 。 


2) 如 果 缓 存 时 间 较 长 ， 例 如 小 蔡 目 前 这 个 项 目 ， 很 多 文件 都 是 会 缓存 3 个 月 ， 那 么 用 户 在 使 用 网 站 过 程 中 ， 更 多 使 用 的 是 浏览 器 本 地 的 缓存 文件 ， 这 种 情况 下 应 该 使 用 本 地 缓存 做 性 能 测 
试 ， 这 样 可 获得 更 接近 用 户 的 真实 体验 。 


3) 如 果 本 地 缓存 3 个 月 ， 这 3 个 月 内 项 目 组 改动 了 Js 等 文件 并 进行 上 线 部 署 。 当 用 户 再 次 打开 时 浏览 器 会 不 会 仍然 使 用 本 地 缓存 ， 导 致 无 法 使 用 更 新 后 的 文件 ? 





这 个 问题 是 难 不 倒 大 家 的 ， 每 次 发 布 新 的 版 本 时 所 有 JS 等 文件 的 URL 都 会 发 生 改变 ， 例 如 每 次 发 布 新 版 本 后 ， 这 些 文件 的 URL 中 都 有 一 串 随机 字符 串 发 生 了 变化 ， 这 样 当 用 户 在 本 地 打开 
网 页 时 ， 浏 览 器 发 现 Js 的 URL 已 经 改变 了 ， 就 会 从 网 站 下 载 最 新 的 文件 ， 而 不 会 从 缓存 中 读 取 了 。 





(4) 确定 期 望 达 到 的 性 能 指标 





一 般 项 目 立项 时 会 对 项 目 定 下 需要 达到 的 性 能 指标 ， 小 蔡 所 在 这 个 项 目 没有 做 这 方面 定义 ， 因 此 她 只 能 选择 用 “2-5-8 原 则 ”做 判断 。 所 谓 的 “2-5-8 原 则 ”， 简 单 说 ， 就 是 当 用 户 能 够 在 
2 秒 以 内 得 到 响应 时 ， 会 感觉 系统 的 响应 很 快 ; 当 用 户 在 2 ~ 5 秒 之 间 得 到 响应 时 ， 会 感觉 系统 的 响应 速度 还 可 以 ; 当 用 户 在 5 ~ 8 秒 以 内 得 到 响应 时 ， 会 感觉 系统 的 响应 速度 很 慢 ， 但 是 还 可 以 
接受 ; 而 当 用 户 在 超过 8 秒 后 仍然 无 法 得 到 响应 时 ， 会 感觉 系统 糟 透 了 ， 或 者 认为 系统 已 经 失去 响应 ， 而 选择 离开 这 个 网 站 ， 或 者 刷新 页 面 发 起 第 二 次 请 求 。 








实际 上 “2-5-8 原 则 ”并 不 适用 于 所 有 场景 。 假 设 一 个 极端 的 使 用 场景 是 文件 上 传 ， 如 果 用 户 上 传 一 个 1GB 大 文件 ， 那 么 通常 用 户 不 会 期 望 在 8 秒 内 上 传 成 功 ， 甚 至 300 秒 内 上 传 完成 用 户 
会 觉得 速度 很 快 。 小 蔡 所 在 项 目 组 开发 的 网 站 属于 针对 大 众 用 户 使 用 的 网 页 ， 而 且 页 面 中 没有 复杂 的 加 载 过 程 ， 因 此 “2-5-8 原 则 ”在 这 里 是 适用 的 。 








2. 做 前 端 网 页 性 能 测试 的 两 个 工具 
(1) WebPageTest 


WebPageTest (http://www.webpagetest.org) ， 如 图 6-10 所 示 。 





这 个 工具 帮助 手工 进行 前 端 页 面 性 能 测试 有 多 优秀 。 


1) 允许 选择 真实 地 理 位 置 中 的 测试 机 。 例 如 小 蔡 项 目 组 所 开发 网 站 的 用 户 绝 大 多 数 都 来 自 澳大利亚 ， 因 此 她 选择 在 悉尼 的 物理 机 器 进行 测试 。 




















2) 让 测试 过 程 自动 重复 多 次 并 计算 出 平均 值 。 单 次 网 页 加 载 的 性 能 测试 往往 因为 网 络 因 素 等 变 得 不 可 靠 ， 因 此 需要 重复 执行 多 次 。 实 际 上 小 蔡 之 前 用 过 Chrome 的 Inspector 去 测试 多 次 
后 手工 求 平均 值 ， 后 来 发 现 这 真是 一 个 拼 体力 的 工作 ， 比 较 枯燥 而 且 容 易 出 错 。 而 WebPageTest 则 可 以 自动 化 这 个 全 过 程 。 


Test a website's performance 


er 
Enter a Website URL 


Test Location Sydney - Servers Australia (IE 10,Chrome,Canary,Firefox) wl Select from Map 


Browser 


Advanced Settings 了 


one | Xone | wom | Ah | sm | ask | sror | Conon 


Connection Cable (5/1 Mbps 28ms RTT) 


START TEST 


Provided by 


TI ServersAustralia 


Number of Tests to Run 
Upio9 


Repeat View © First View and Repeat View ” Flrst View Only 
Capture Video 
Keep Test Private 


Label 





图 6-10 ”WebPageTest 性 能 测试 工具 


3) 模拟 真实 网 络 速度 ， 可 以 选择 和 模拟 各 种 不 同 的 网 络 条 件 去 进行 测试 。 





WebPageTest 工 具有 很 多 设置 选项 ， 使 用 起 来 很 方便 ， 图 6-11 是 小 蔡 最 终 的 测试 结果 。 


Need help improving? 


Web Paae Performance Test for 


Keep-alive Compress Compress Cache Effective 
From: Sydney, Australia (Servers Australia) - Chrome - Cable Time Enabled Transfer neces tatic use of CDN 


3/29/2016, 3:20:40 PM 


Summary Details Performance Review Content Breakdown Domains 


Tester: WEBPAGETEST-PC-27.50.85.4 Raw page dala - Raw obiect data 
Test runs: 9 Export HTTP Archive (har) 
Re-run the test View Test Log 





Performance Results (Median Run) 


Document Complete Fully Loaded 
Load Time First Byte Start Render Speed Index DOM Elements | Time Requests Bytes In | Time Requests Bytes In Cost 
First View (Run 3) 3.8515 0.697s 10s 1560 299 3.851s 29 623 KB |7.651s 37 660 KB $$- 


Repeat View (Run 7) 2.135s 0.195s 6800 271 2.135s 5 12 KB 5.915s 多 42 KB 
Piot Full Results 





图 6-11 WebPageTest 测 试 结 





可 以 看 到 在 连续 执行 了 9 次 性 能 测试 后 ， 平 均 首次 加 载 速度 是 3.851 秒 ， 





E 复 加 载 速 度 是 2.135 秒 ， 这 说 明 用 户 使 用 时 体验 应 该 还 是 不 错 的 ， 测 试 通过 ! 

















(2) PageSpeed Insights 





PageSpeed Insights (https://developers.google.com/speed/pagespeed/) 是 由 谷歌 官方 开发 的 一 款 可 以 分 析 前 端 代码 如 何 优化 的 工具 ， 包 括 帮 助 分 析 如 何 优化 缓存 、 减 小 请 求 大 
小 、 优 化 浏览 器 泻 染 等 方面 。 小 蔡 使 用 PageSpeed 后 看 到 该 项 目 在 前 端 性 能 还 有 4 个 方面 可 以 优化 ， 这 就 留 给 开发 人 员 了 。 

















做 前 端 页 面 加 载 性 能 的 测试 ， 有 了 这 两 个 工具 的 帮助 ， 小 蔡 快 速 地 得 到 了 想 要 的 测试 结果 。 





6.7 :小结 





本 章 介绍 了 性 能 测试 中 普遍 使 用 的 测试 方法 、 工 具 和 思维 模式 ， 在 做 性 能 测试 时 ， 我 们 更 需要 对 技术 有 热情 和 敏感 性 ， 从 而 发 现 功能 模块 甚至 架构 上 的 性 能 问题 。 当 然 ， 如 果 能 熟练 使 用 
JMeter、Gatling 和 Locust 此 类 工具 ， 也 能 使 性 能 测试 事半功倍 。 





第 7 章 ”自动 化 测试 








由 于 现 如 今 很 多 公司 对 于 测试 的 期 望 并 不 局 限于 手动 测试 ， 所 以 自动 化 测试 被 认为 是 测试 人 员 能 够 提供 更 多 附加 值 的 亮点 ,测试 人 员 如 果 想 提升 自己 的 能 力 ， 自 动 化 测试 也 会 是 首选 。 











但 是 本 章 我 们 不 会 就 具体 的 技术 和 工具 进行 分 析 ， 因 为 这 样 的 文章 和 书籍 比比 皆 是 。 我 们 会 向 大 家 介绍 在 自动 化 测试 过 程 中 容易 陷入 的 一 些 坑 ， 让 大 家 尽量 规避 这 些 风险 。 











自动 化 测试 也 是 需要 进行 环境 和 数据 准备 的 ， 而 很 多 测试 人 员 对 这 一 点 了 解 并 不 深刻 ， 本 章 前 两 个 故事 就 介绍 了 与 之 相关 的 案例 。 很 多 介绍 自动 化 测试 的 书籍 ， 并 不 会 告诉 你 如 何 考虑 该 
不 该 进行 自动 化 测试 ， 也 就 是 自动 化 测试 的 投入 产 出 比 这 样 的 问题 ， 本 章 的 第 3 个 故事 就 是 小 蔡 在 这 方面 的 实践 和 思考 。 那 么 自动 化 测试 选 型 时 又 需要 考虑 哪些 容易 遗漏 的 内 容 呢 ? “测试 框 
架 是 否 很 好 地 支持 了 调试 ”显然 不 是 选 型 时 的 重点 ， 但 是 对 之 后 的 自动 化 测试 开发 产生 了 不 小 的 影响 ， 本 章 的 第 4 个 故事 讲述 了 小 蔡 在 这 方面 遇 到 的 问题 。 自 动 化 测试 框架 的 技术 选 型 确定 
了 ， 如 何 能 验证 使 用 的 框架 是 否 适 合 当前 的 产品 呢 ? 一般 来 说 我 们 都 会 使 用 spike， 也 就 是 调研 的 方式 通过 实现 产品 的 一 个 场景 来 验证 ， 但 是 如 何 选择 适合 的 场景 呢 ， 本 章 第 5 个 故事 介绍 了 如 
何 选择 调研 中 的 合适 场景 。 本 章 的 最 后 一 个 故事 则 介绍 了 在 自动 化 测试 中 使 用 Mock 应 该 注意 哪些 问题 ， 以 及 如 何 解决 这 些 问题 。 


















































下 面 我 们 来 看 看 自动 化 测试 中 的 这 些 故 事 吧 。 


7.1 自动 化 新 手 入 坑 ， 测 试 数据 管理 


这 段 时 间 产 品 发 布 不 那么 紧急 了 ， 小 蔡 终 于 有 空 来 做 一 些 查 漏 补缺 的 工作 。 她 计划 对 前 段 时 间 发 现 的 Bug 和 新 发 布 的 页 面 补充 一 些 UI 自 动 化 用 例 。 
打开 测试 代码 库 ， 小 蔡 眼 里 映 着 一 行 行 “ 古 者 ”的 自动 化 代码 ， 这 不 是 我 刚 开始 学 习 Selenium 的 时 候 写 的 代码 吗 ” 她 陷入 了 回忆 。 


小 莹 还 记得 刚 领 到 UI 自 动 化 任务 时 候 的 兴奋 劲 儿 ， 学 习 了 好 长 一 段 时 间 的 Selenium WebDriver 技 术 终于 可 以 在 项 目 上 实践 了 ! 














UI 自 动 化 的 实现 原理 其 实 挺 简单 的 ， 只 需要 定位 到 元 素 ， 然 后 操作 这 些 元 素 就 可 以 模拟 用 户 操作 了 。 元 素 定位 的 方法 里 面 ， 又 以 idLocator 最 为 简单 明了 ， 就 用 这 个 吧 ! 小 蔡 想 。 


结果 在 实现 代码 的 时 候 ， 她 才 发 现 项 目前 端 代码 中 有 好 多 不 规范 的 地 方 ， 比 如 有 些 需要 被 定位 的 元 素 没有 ID 等 。 她 终于 明白 了 为 何 Selenium 提 供 这 么 多 种 元 素 定位 方式 ， 例 如 
idLocator，xpathLocator，cssLocator 等 ， 通 过 网 上 查 资料 ， 小 蔡 还 了 解 到 cssLocator 应 该 是 目前 效率 最 高 的 定位 器 。 


摸 胞 滚 打 中 ， 好 不 容易 完成 了 第 一 个 用 户 场景 ， 小 蔡 频 有 些 自 豪 。 运 行 了 下 没什么 问题 ， 于 是 跑 去 找 老 牛 review 代 码 。 老 牛 看 了 一 下 ， 觉 得 小 蔡 的 代码 有 些 地 方 值得 提出 表扬 ， 例 如 用 到 














了 PageObject， 再 如 封装 好 了 各 种 WebDriver ( 见 图 7-1) 。 但 是 仍然 有 很 多 地 方 可 以 继续 优化 ， 例 如 测试 数据 的 管理 。 


小 莹 的 做 法 是 把 测试 数据 直接 写 到 了 代码 里 面 。 老 牛 指出 ， 这 样 的 做 法 虽然 可 以 运行 代码 ， 但 是 从 维 3 
如 ， 老 牛 如 果 想 增加 “注册 另 一 个 新 用 户 LaoNiu” 的 测试 用 例 的 时 候 ， 就 需要 在 代码 里 面 把 username 重 新 赋值 。 一 旦 业务 发 生变 更 ， 脚 本 维护 人 员 可 能 会 花 很 长 时 间 把 代码 下 
他 建议 小 蔡 把 数据 拆 分 开 来 ， 做 到 数据 和 用 户 场景 分 离开 来 。 












小 莹 接受 了 老 牛 的 意见 ， 进 行 了 重 构 。 她 把 测试 数据 写 到 了 property 文 件 里 面 ， 新 写 了 getRegisterlnfo 方 法 来 读 取 数 据 ， 并 且 把 注册 用 户 的 信息 封装 为 Registerlnfo 类 ， 让 代码 变 得 更 加 








易 读 ( 见 图 7-2) 。 











private RegisterPage page = new RegisterPage () :; 
private String email= "em4@123.com"; 

private String username= "zhangqxixi"; 

private String password = "111111",; 

private String phonenumber = "18011110000™; 


QBefore 
Public void setup() 1 
page = PageFactory.initElements(WebDriverFactory.getFirefoxDriver!(), 
RegisterPage.class); 
page.open(); 


QTest 
Public void registerNewUser() { 
page.register (email,username,password,phonenumber),; 


assertThat (page .getRegisterResult(), 


is( Value: "注册 成 功 ") ) ; 


QTest 
public void registerWithAnExistingUser (){ 
page.register (email,username,password,phonenumber); 


assertThat (page .getRegisterResult(), 
is( value; "出 现 了 一 个 问题 ") ) ; 


图 7-1 测试 数据 和 代码 未 分 离 





private RegisterPage page = new RegisterPage () ， 
Private RegisterInfo registerIinfo; 


QBefore 
public void setup() { 
page = PageFactory.initElements (WebDriverFactory.getFirefoxDriver(), 
RegisterPage.class); 
page.open () :; 
} 


@Test 

public void registerNewUser() { 
registerIinfo = getRegisterIinfo( testData: "testData/newUser.properties"),，; 
Page.register (egisterInfo) ; 


asSsSertThat(Ppage.getRegisterResulLt() ， 


is( Valueé; "注册 成 功 ") ) ; 
} 


QTest 

public void registerWithAnExistingUser(){ 
registerIinfo = getRegisterInfo( testData: "testData/existingUser.properties"); 
page.register (registerIinfo),; 


assertThat (page .getRegisterResult(), 
is( Value: "出 现 了 一 个 问题 ") ) ; 


图 7-2 ”抽取 测试 数据 后 


这 样 以 后 添加 用 例 就 方便 多 了 。 老 牛 看 完 代码 ， 在 表扬 小 蔡 之 余 ， 又 分 享 了 一 些 关 于 测试 数据 管理 的 经 验 ， 例 如 后 处 理 和 数据 的 预 处 理 。 小 蔡 测 试 的 是 一 个 用 户 注册 的 场景 ， 在 第 1 次 跑 
完 脚本 后 ， 原 来 的 newUser 测 试 数据 就 变 成 了 已 注册 过 的 数据 了 ， 在 第 2 次 跑 registerNewUser 脚 本 的 时 候 就 会 出 错 。 为 了 解决 这 个 问题 ， 老 牛 建议 在 测试 完成 后 对 newUser 测 试 数据 做 后 处 
理 ， 比 如 在 数据 库 中 直接 删除 newUser 的 用 户 数据 ， 或 者 对 刚才 注册 的 事务 进行 回 滚 ( 见 图 7-3) 。 


@After 
public void tearDown () { 


/* 伪 代 码 


Option]: 
DataBase.deleteUser (registerinfo.getUsername () ) ; 


Option2: 
RegisterAction.Rollback (registerIinfo.getUsername () ) ; 


图 7-3 ”数据 后 处 理 


另外 一 种 常见 的 做 法 是 数据 预 处 理 ， 例 如 新 生成 newUser 数 据 ， 而 不 是 使 用 固定 的 数据 文件 ( 见 图 7-4) 。 





@Test 
| public void registerNewUser() { 
A registerInfo = getRegisterIinfo("testData/newUser.properties"),， 
registerlinfo = CreateRandomUser(); 
page.register (egqisterInfo) ; 


assertThat (page.getRegisterResult ()， 


is( Value; "注册 成 功 ") ) ; 





图 7-4 生成 随机 数据 


这 样 做 的 好 处 是 数据 更 加 接近 真实 的 用 户 行为 ， 而 不 用 人 工 干 预 产 品 代码 和 环境 。 但 是 缺点 也 很 明显 ， 随 机 生成 的 数据 寻 迹 性 比较 差 ， 另 外 有 一 定 几率 生成 重复 数据 ， 还 需 额 外 去 重 处 
理 ; 而 即使 是 固定 模式 生成 的 数据 ， 也 会 存在 一 些 问题 ， 例 如 数据 多 样 性 不 够 等 。 

















原来 测试 数据 管理 里 面 也 有 这 么 多 文章 ， 这 么 多 的 测试 数据 管理 的 策略 ， 一 时 半 会 儿 也 不 知道 怎么 选 。 看 来 除了 找 老 牛 多 请 教 以 外 ， 平 时 还 是 得 多 多 练习 ， 踩 的 坑 多 了 ， 经 验 自然 也 就 积 
累 出 来 了 ， 小 蔡 暗 暗 地 想 。 


回 过 神 来 ， 小 蔡 很 感激 当年 老 牛 的 指导 ， 现 在 的 她 已 经 可 以 针对 不 同 的 业务 场景 熟练 地 运用 各 种 不 同 数据 管理 方式 了 。 


信和 0 页 面 对 象 
页 面 对 象 (Page Object) 是 一 种 UI 自动 化 设计 模式 。 


核心 思路 就 是 Page Object 就 是 将 Web 页 面 元 素 的 变化 封装 起 来 ， 提 供 API 给 外 部 测试 代码 调用 ， 从 而 达到 测试 代码 与 Web 页 面 元 素 的 变化 解 碍 。 这 一 点 和 软件 开发 中 的 面向 对 象 (Object 
Ortiented，OO) 思想 十 分 相似 。 


Page Object 的 优点 : 
1) 将 测试 代码 与 页 面 元 素 的 操作 解 硒 ; 

2) 将 Web 页 面 元 素 的 访问 统一 化 、 规 范 化 、 结 构 化 ; 
3) 封装 不 同 浏览 器 对 元 素 访问 的 差异 ; 

4) 易于 实现 Web 元 素 访问 的 DSL。 


当然 页 面 对 象 模式 也 不 是 非 使 用 不 可 。 对 于 小 规模 站 点 的 Web 自 动 化 测试 ， 直 接 使 用 Capybara 之 类 的 框架 并 不 会 出 现 问 题 。 但 对 于 业务 复杂 ， 功 能 完备 的 大 规模 Web 站 点 自动 化 测试 而 言 ， 
使 用 Page Object 将 测试 代码 与 Web 页 面 元 素 的 访问 解 辜 ， 而 在 测试 代码 中 直接 访问 Web 页 面 元 素 ， 可 以 极 大 减少 宛 余 代码 ， 降 低 测试 集结 构 混乱 、 后 期 难于 理解 和 维护 的 风险 。 


7.2 ”本 地 环境 正常 运行 ， 在 测试 环境 执行 就 出 问题 了 


在 补充 自动 化 用 例 的 过 程 中 ， 小 获 发 现 产品 新 功能 里 有 一 个 “鼠标 悬 停 后 显示 子 菜单 ”的 功能 。 具 体 的 测试 场景 是 用 户 需要 悬浮 鼠标 在 一 级 菜单 ， 然 后 点 击 弹出 二 级 菜单 里 的 内 容 。 小 莹 
“飞快 地 用 Action 实 现 了 这 个 用 户 操作 ， 看 着 这 段 代 码 ， 小 蔡 又 回想 起 了 当初 。 








小 蔡 刚 开始 在 项 目 上 使 用 UI 自 动 化 的 时 候 ， 也 碰 到 了 这 种 需要 悬浮 鼠标 才能 显示 二 级 菜单 的 操作 ( 见 图 7-5) 。 当 年 的 她 也 是 查找 了 半天 资料 后 ， 发 现 用 Action 类 可 以 处 理 这 类 复杂 的 业 
务 操作 ， 于 是 尝试 着 完成 了 代码 ( 见 图 7-6) 。 









































新 客户 ? 免费 注册 


我 的 帐户 
我 的 订单 





图 7-5 注册 用 户 需要 鼠标 悬 停 在 一 级 菜单 后 才 会 显示 


new Actions (driver) 
elloMAU el No bh Nololo bee t= 
.MOoveToElement (registerButton) 


ole 
:bulild() 
. Perform(),;} 





图 7-6 ”使 用 Action 实 现 和 据 标 悬 停 后 点 击 二 级 菜单 中 的 内 容 


一 开始 这 段 代 码 在 本 地 环境 中 工作 得 很 好 ， 可 是 当 小 蔡 把 测试 代码 搬 到 测试 环境 上 运行 的 时 人 息 ， 问 题 出 现 了 。 她 发 现 ， 在 测试 服务 器 环境 中 ， 鼠 标 悬 停 在 一 级 菜单 上 面 以 显示 二 级 菜单 的 
方法 经 常 执行 出 错 ， 导 致 后 续 的 流程 因 “ 找 不 到 元 素 ”、 “元 素 不 可 用 ”等 异常 终止 。 


小 莹 在 网 上 查 了 半天 ， 看 到 有 人 介绍 Action 这 种 方式 针对 不 同 的 产品 实现 ， 例 如 页 面 加 载 元 素 的 不 同 实现 方式 ， 可 能 会 有 不 稳定 的 情况 发 生 ， 二 级 菜单 会 出 现 内 烁 的 现象 。 她 想 ， 会 不 会 
我 也 碰 到 了 同样 的 问题 呢 ， 在 测试 环境 中 因为 网 速 或 者 是 其 他 未 知 原因 导致 二 级 菜单 闪烁 ， 而 无 法 点 击 到 菜单 ”小 蔡 决 定 用 网 上 介绍 的 直接 执行 JS 的 方式 来 解决 这 个 问题 ( 见 图 7-7) 。 





private static void MouseHovetRYJavasScript (WebElement targetElement,WebDriver driver) 
{ 


String mouseHRVerJSR = "var evObj = daocument .createEvent ('MouseEvents');" + 
"evObj .initMouseEvent (\"mouseover\"," + 
truUer falser windowr 0 00r0 gfalser falser false, faLtser 0 null)sw + 


"arguments [0] .dispatchEvent (evObj);}"; 
JavascriptExecutor js = (JavascriptExecutor)driver; 
js.executeScript (mouseHoverjs, targetElement); 





图 7-7 ”执行 JS 悬 浮 鼠 标 代码 





执行 以 后 发 现 问题 只 是 有 所 缓解 ， 还 是 会 有 因为 二 级 菜单 没有 加 载 出 来 而 终止 后 面 的 测试 执行 。 


小 蔡 很 郁闷 ， 请 老 牛 帮忙 分 析 下 这 个 问题 。 老 牛 听 了 小 蔡 描 述 的 现象 ， 看 了 看 代码 ， 对 小 蔡 解 释 道 : Action 类 提供 的 用 户 交 互 方式 其 实 已 经 比较 稳定 了 ， 调 用 这 个 方法 和 直接 执行 JS 代码 
的 效果 应 该 是 一 样 的 。Selenium 中 执行 JS 命令 常见 于 移 除 页 面 遮 罩 层 或 者 移 除 元 素 readonly 属 性 等 ， 例 如 : 
page.execute script ( “$ ( ‘#birthday’ ) .removeAttr ( ‘readonly ) ”) 。 








在 实践 中 因为 网 速 、 服 务 器 硬件 等 外 部 条 件 限制 ， 问 题 的 原因 很 可 能 跟 小 蔡 最 初 分 析 的 一 样 一 一 执行 Selenium 命 令 | 


LH 评 田 
小 山椒 ， 元 泰 不 可 用 。 





为 了 解决 这 个 问题 ， 小 蔡 想 到 了 Thread.sleep () 方法 ， 当 到 达 主 页 后 ， 主 动 等 待 5 秒 让 其 他 元 素 都 加 载 出 来 再 进行 下 一 步 操作 。 而 老 牛 反驳 道 ， 如 果 你 在 每 个 元 素 操作 之 前 都 需要 强制 
等 5 秒 钟 的 话 ， 那 么 一 条 用 例 执行 下 来 ， 光 是 强制 等 待 都 得 好 几 分 钟 ， 如 果 用 例 再 多 点 的 话 ， 这 还 不 得 等 好 几 十 分 钟 才 跑 完 测 试 ? 


小 蔡 想 了 想 ， 觉 得 有 道理 ， 于 是 又 到 网 上 查阅 一 番 资 料 。 最 后 她 发 现 Selenium 提 供 了 一 种 WebDriverWait+ExpectedConditions 的 等 待 方式 ， 每 隔 500 毫 秒 做 一 次 轮 询 ， 当 被 轮 询 的 元 
素 满足 条 件 时 ， 才 会 执行 后 续 的 代码 ( 见 图 7-8) 。 





WebElement YourAccountZone = (new WebDriverWait (driver, timeOutinSeconds: 10) ) 
.until (ExpectedConditions.elementToBeClickable(yourAccountZzone)); 


WebElement RegisterButton = (new WebDriverWait (driver, timeOutinSeconds: 10)) 
.until (ExpectedConditions.visibilityOf(registerButton)); 


new Actions (driver) 
BiloM A Me) RR A yolololb Ae Ty) 
.moveToElement (RegisterButton) 
-CLIick() 
.build!() 
.Perform(); 





图 7-8 ”用 Explicit Waits 实 现 等 待 页 面 元 素 


老 牛 看 了 看 代码 ， 点 头 表 示 称 赞 。 并 且 表 示 ，Thread.sleep () 和 上 面 这 种 方式 都 称 为 Explicit Waits， 即 有 明确 等 待 条 件 的 等 待 方式 。 除 了 这 种 等 待 方 式 以 外 ，Selenium 还 提供 了 一 种 
Implicit Waits， 这 种 方式 不 需要 明确 的 等 待 条 件 ， 只 需要 在 driver 上 设置 等 待 的 最 长 时 间 就 可 以 了 。Selenium 会 在 设置 时 间 内 持续 查找 需要 被 定位 的 元 素 ， 实 现 机 制 上 跟 WebDriverWait 一 
样 。 优 点 是 只 需要 在 一 开始 初始 化 WebDriver 的 地 方 设置 ， 后 续 就 不 用 写 那么 多 等 待 条 件 了 ， 比 较 推荐 使 用 这 个 ( 见 图 7-9) 。 








public static WebDriver getFirefoxDriver(){ 
if (webdriver == null)t 
webdriver = new FirefoxDriver (); 
webdriver.manage() .timeouts().implicitlyWait(5, TimeUnit.SECONDS),; 


} 


return webdriver; 





图 7-9 用 Implicit Waits 实 现 等 待 页 面 元 素 


老 牛 接着 告诉 小 蔡 ， 针 对 不 同 的 项 目 技术 栈 ， 也 可 以 通过 一 些 现成 的 框架 来 解决 这 个 问题 。 比 如 针对 Angular 的 项 目 ， 可 以 使 用 Protractor 框 架 来 避免 。 因 为 Protractor 框 架 自 带 了 智能 
的 WaitTime 判 断 。 


小 葵 听 完 赶快 更 新 了 代码 ， 放 到 服务 器 上 再 试 了 试 ， 问 题 果 然 解决 了 ! 








回 过 头 来 看 现在 的 项 目 ， 小 莹 发 现 其 实 这 几 种 等 待 方式 也 不 是 完全 独立 存在 的 ， 在 实践 中 可 能 会 根据 不 同 的 情况 ， 结 合 起 来 使 用 ， 效 果 更 佳 。 具 体 情况 具体 分 析 嘛 ! 


7.3 ”编写 自动 化 测试 时 需要 考虑 投入 产 出 比 


这 次 移动 端 产品 进行 发 布 和 回归 测试 之 前 ， 由 于 新 功能 刚刚 完成 ， 所 有 测试 人 员 都 忙于 执行 手动 测试 任务 ， 没 有 时 间 去 编写 用 于 回归 新 功能 的 端 到 端 测试 。 





























在 产品 发 布 后 ， 小 莹 和 其 他 测试 人 员 抓紧 这 段 业 务 方正 在 分 析 其 他 新 需求 的 时 间 ， 完 成 了 遗留 的 自动 化 测试 脚本 编写 工作 。 在 几 个 月 的 时 间 内 ， 她 们 编写 出 好 几 百 条 自动 化 测试 脚本 。 











这 几 百 条 自动 化 脚本 都 是 为 回归 测试 准备 的 ， 其 中 不 少 是 端 到 端的 测试 ， 在 编写 脚本 这 段 时 间 内 ， 并 没有 把 这 些 脚本 放 在 持续 集成 环境 中 运行 。 














但 是 当 她 们 拿 到 二 阶段 开发 工作 的 新 需求 时 ， 却 傻眼 了 : 新 版 的 需求 中 最 大 的 变化 是 界面 一 一 根据 产品 上 线 后 用 户 的 反馈 ， 产 品 的 界面 进行 了 大 幅度 的 调整 。 








这 些 调整 对 于 开发 人 员 来 阅 ， 可 能 只 是 样式 代码 的 调整 ， 但 是 对 于 小 蔡 她 们 编写 的 自动 化 测试 来 说 ， 这 些 自动 化 测试 脚本 都 是 基于 界面 的 ， 要 等 开发 人 员 完 成 开发 工作 后 ， 拿 到 了 新 的 元 
素 标 识 符 和 层级 结构 ， 才 能 修改 已 有 的 自动 化 测试 ， 这 会 带 来 很 多 等 待 时 间 ; 其 次 自动 化 脚本 需要 进行 大 幅度 的 修改 ， 耗 费 的 人 力 、 物 力 以 及 时 间 都 很 巨大 。 最 终 ， 刚 刚 花费 很 大 气力 完成 的 
自动 化 测试 脚本 中 有 很 大 一 部 分 都 不 会 被 用 到 了 ， 这 些 脚本 一 次 都 没有 运行 ， 从 未 发 挥 过 作用 。 这 些 事情 让 所 有 测试 人 员 都 意志 消沉 。 







































































老 牛 找 小 莹 一 起 讨论 如 何 解 决 现在 自动 化 测试 面临 的 问题 ， 至 少 不 能 让 现在 的 问题 再 次 发 生 。 























小 莹 首先 提出 不 确定 现在 这 样 大 量 编写 基于 界面 的 自动 化 测试 是 否 合适 ， 她 最 近 参 加 的 几 次 测试 会 议 上 都 有 人 提出 测试 金字 塔 这 样 一 种 测试 分 层 的 模型 ( 见 图 7-10) ， 感 觉 按 照 测试 金字 
塔 规划 自动 化 测试 ， 能 让 自动 化 测试 的 效率 更 高 。 
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定 | 低 业 | 需 
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图 7-10 ”测试 金字 塔 的 分 层 模型 























老 牛 也 了 解 过 测试 金字 塔 ， 知 道 需要 先 和 开发 人 员 沟通 好 ， 在 产品 代码 中 保证 单元 测试 的 覆盖 率 ， 然 后 在 此 基础 上 通过 API 测 试 保证 功能 模块 间 的 集成 ， 最 后 在 最 上 层 才 是 基于 界面 的 自 
动 化 测试 。 








老 牛 帮 小 莹 分 析 了 一 下 目前 测试 团队 可 能 存在 的 问题 。 











1) 从 测试 分 层 的 策略 来 讲 ， 小 蔡 的 测试 团队 过 分 依赖 端 到 端的 UI 测 试 ， 整 个 团队 的 测试 变 成 了 倒 金字 塔 形 ， 花 费 大 量 的 人 力 、 时 间 成 本 完成 端 到 端 测试 脚本 ， 而 忽略 了 低层 测试 的 作用 





性 。 














2) 从 不 同 层面 测试 的 目的 来 讲 ， 端 到 端 测试 和 Unit 层 、Service 层 的 测试 存在 大 量 的 重复 验证 工作 。 举 个 例子 ， 在 登录 组 件 中 ， 单 元 测试 已 经 覆盖 了 异常 字符 输入 的 验证 ， 而 在 端 到 端 测 
试 中 又 有 重复 验证 这 个 测试 点 的 用 例 。 














3) 从 端 到 端 测试 的 实现 上 来 讲 ， 目 前 的 端 到 端 测试 的 代码 实现 比较 粗暴 ， 耦 合 严 时 
况 的 时 候 ， 修 改 起 来 非常 困难 。 


， 缺 乏 整体 设计 和 优化 。 这 样 导 致 庙 到 端 代 码 本 身 的 维护 成 本 也 比较 高 。 在 面 对 界面 调整 比较 大 的 情 





各 








为 了 解决 这 些 问 题 ， 老 牛 建议 小 蔡 结 合 这 个 金字 塔 来 改进 项 目 中 的 自动 化 测试 。 

















金字 塔 模型 告诉 我 们 ， 越 低层 的 测试 ， 无 论 是 修改 还 是 调试 ， 相 比 高 层 的 测试 来 讲 成 本 更 低 ， 而 且 更 容易 覆盖 到 一 些 UI 上 不 容易 表现 出 来 (容易 漏 测 ) 的 场景 。“ 开 发 本 身 肯定 比 测试 更 
了 解 功能 是 如 何 实 现 的 ， 可 能 有 哪些 坑 在 里 面 。” 老 牛 打趣 地 说 。 






























































首先 ， 老 牛 建议 测试 团队 跟 研 发 人 员 再 多 交流 交流 ， 了 解 单元 测试 和 集成 /API 测 试 中 已 经 覆盖 了 哪些 场景 ， 哪 些 场景 是 低层 测试 无 法 覆盖 的 ， 再 酌情 减少 UI 端 到 端 测试 的 用 例 场景 ， 避 免 
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其 次 ， 老 牛 强调 UI 测试 中 必定 需要 覆盖 的 场景 就 是 应 用 的 默认 用 户 场 景 一 一 Happy Path， 确 保 应 用 的 基本 功能 的 可 用 性 。 














最 后 ， 老 牛 推荐 使 用 Page Object 的 编程 模式 ， 实 现 页 面 元 素 的 封装 和 重用 ( 见 图 7-11) ， 增 强 测试 代码 的 可 维护 性 。 























低 


Page Objects 


Login Test Pages Account Test Pages 


Login.As.Unknown.User.is Invalid.Search.js 


Login.As.Testl.User.js Volid.Search.is 


Login.As.Test2.User.s EmptyResults.Search js 





图 7-11 页 面 对 象 把 页 面 当 作 编 程 对 象 进行 操作 
老 牛 还 认为 ， 最 重要 的 一 点 就 是 : 要 把 自动 化 测试 集成 到 持续 集成 的 环境 ， 这 样 每 次 提交 新 代码 时 都 会 运行 一 遍 ， 这 样 自 动 化 脚本 可 以 更 多 发 挥 保护 网 的 作用 。 


有 了 这 样 的 共识 ， 老 牛 和 小 葵 一 起 找 项 目 组 的 开发 人 员 和 产品 经 理 进 行 沟通 ， 认 为 只 有 开发 和 测试 双方 努力 ， 才 能 使 产品 的 自动 化 测试 更 顺畅 ， 让 团队 交付 更 有 信心 。 








通过 使 用 测试 金字 塔 模型 和 Page Object 等 实践 ， 项 目 团队 投入 到 自动 化 上 的 时 间 明 显 减少 ， 而 且 老 牛 和 小 蔡 统 计 了 测试 覆盖 率 也 并 没有 因为 端 到 端 测试 的 减少 而 降低 。 研 发 团队 在 完善 
层 测试 的 过 程 中 更 是 大 大 提高 了 质量 的 意识 ， 再 也 不 怕 大 规模 的 重 构 啦 ! 














灸 芒 上 知识 “测试 金字 塔 


为 


测试 金字 塔 (test pyramid) 概念 由 Mike Cohn 提 出 ， 并 在 其 著作 《Succeeding with Agile》 中 做 了 详细 论述 。 其 核心 观点 是 底层 单元 测试 应 多 于 依赖 GUI 的 高 层 端 到 端 测试 。 


Thought Works 首 席 科 学 家 Mattin Fowler 在 其 博客 中 这 样 描述 测试 金字 塔 : “简单 来 说 ， 基 于 UI 的 端 到 端 测 试 具 有 这 样 的 缺点 : 脆弱 、 编 写成 本 高 ， 而 且 运 行 耗 时 。 因 此 ， 人 金字 塔 理 论 认 
， 相 对 于 传统 的 基于 GUI 的 测试 ， 应 采用 更 多 的 自动 化 单元 测试 。 


金字 塔 理论 还 认为 ， 应 该 引入 面向 应 用 程序 服务 层 的 中 间 层 测试 。 这 些 测 试 既 保持 了 端 到 端 测试 的 诸多 优势 ， 又 避免 了 许多 与 UI 框 架 相 关 的 复杂 性 。 


测试 金字 塔 引 申 出 敏捷 测试 生命 周期 的 很 多 核心 概念 ， 它 更 强调 建立 一 个 合理 的 测试 组 合 。 现 实 中 的 一 个 常见 的 问题 是 : 团队 将 端 到 端 测试 、 单 元 测试 和 面向 客户 的 测试 混为一谈 ， 但 它 


们 其 实 是 正 交 的 。” 


此 外 ，Martin Fowler 还 认为 GUI 自动 化 测试 只 是 系统 中 的 第 二 道 防火 墙 (第 一 道 是 单元 测试 ) 。 如 果 你 的 GUI 自 动 测试 挂 了 ， 那 意味 着 你 的 单元 测试 履 盖 率 不 足 ， 遗 漏 了 这 部 分 测试 ， 应 该 


立刻 补 回去 。 


全 6 展 hRO 自动 化 测试 成 果 度 量 








通常 对 于 自动 化 测试 的 效果 度量 都 是 很 模糊 的 ， 只 通过 测试 覆盖 率 显然 是 不 够 全 面 的 。 我 们 可 以 从 以 下 几 个 方面 来 考查 自动 化 测试 的 成 果 。 
1) 外 部 缺陷 率 。 就 是 产品 上 线 后 遗留 到 客户 手中 的 缺陷 ， 可 以 表明 引入 自动 化 测试 后 对 产品 质量 的 提升 。 


2) 投入 产 出 比分 析 。 因 为 从 长 远 来 看 ， 自 动 化 测试 会 节省 手动 测试 的 时 间 ; 不 过 在 自动 化 初期 ， 投 入 产 出 比 会 比较 低 ， 而 随 着 自动 化 测试 持续 的 时 间 延 长 ， 投 入 产 出 比 会 明显 上 升 。 投 


入 产 出 比 通常 可 以 使 用 “自动 化 测试 投入 人 天 数 X 自动 化 测试 执行 的 频率 /自动 化 测试 执行 所 能 替代 的 手工 测试 工作 量 人 天 数 ” 的 数值 来 衡量 。 由 这 一 公式 可 以 看 出 自动 化 测试 执行 的 频率 也 
是 衡量 自动 化 测试 投入 产 出 比 的 重要 因素 。 此 外 ， 通 过 自动 化 测试 发 现 的 缺陷 数 可 以 从 侧面 反映 自动 化 测试 的 价值 ， 但 不 应 该 是 主要 的 度量 指标 。 


3) 自动 化 测试 系统 的 自身 质量 。 
四 自动 化 测试 覆盖 范围 内 的 缺陷 遗漏 率 。 
加 自动 化 测试 执行 的 稳定 性 。 


图 维护 工作 占 总 工作 量 的 比例 。 





Orme 关山 测试 


端 到 端 测试 (End to End testing，E2E) 也 称 作 系统 测试 (system testing) ， 其 实 就 是 对 整个 系统 进行 测试 。 


在 端 到 端 测试 中 ， 业 务 流程 非常 重要 。 端 到 端 测 试 关注 的 是 在 用 户 使 用 系统 的 过 程 中 ， 从 用 户 使 用 系统 开始 ， 到 用 户 在 系统 上 完成 特定 的 目标 为 止 ， 所 涉及 的 功能 流程 。 这 样 一 组 流程 被 


称 作 用 户 场景 ， 或 者 用 户 旅 程 (user journey) 。 端 到 端 测试 正 是 建立 在 这 些 用 户 场景 的 基础 上 。 
同时 在 端 到 端 测试 中 ， 使 用 类 生产 环境 ， 就 是 说 被 测试 系统 不 仅 有 产品 本 身 ， 还 包含 了 与 之 关联 的 所 有 系统 的 集合 。 


端 到 端 测试 的 重点 不 在 于 测试 系统 集成 的 接口 或 者 某 一 模块 /功能 ， 因 为 这 些 测试 应 该 在 之 前 执行 的 其 他 测试 中 完成 的 ， 而 是 重点 测试 用 户 通过 向 系统 输入 信息 ， 到 获得 输出 的 整个 过 





7.4 测试 框架 和 工具 选 型 也 需要 考虑 Debug 





我 们 知道 在 自动 化 测试 的 使 用 过 程 中 ， 大 多 数 情 况 下 只 有 技术 人 员 (例如 开发 人 员 和 测试 人 员 ) 才 会 关注 自动 化 测试 及 其 报告 。 但 是 随 着 敏捷 开发 流程 的 流行 ， 越 来 越 多 的 业务 人 员 和 项 
目 经 理 开始 关注 自动 化 测试 所 带 来 的 收益 。 





这 一 趋势 带 来 的 变化 是 在 自动 化 测试 中 引入 了 BDD (Behavior Driven Development) ， 也 就 是 行为 驱动 开发 的 方法 和 实践 ， 同 时 也 引入 了 BDD 的 工具 。 一 般 来 说 BbDD 工 具 的 框架 分 为 
三 层 , 分 别 是 : 


“ 语义 层 。 负 责 对 测试 场景 进行 文字 描述 ; 
“ 胶水 层 。 负 责 把 测试 场景 的 文字 描述 和 驱动 页 面 元 素 的 具体 方法 结合 起 来 ; 


: 实现 层 。 具 体 驱 动 页 面 元 素 完成 相应 行为 。 





为 了 让 自动 化 测试 的 覆盖 范围 和 效果 可 视 化 ， 让 业务 方 对 产品 更 有 信心 ， 小 蔡 的 公司 也 开始 在 公司 内 部 推广 自动 化 测试 中 使 用 BDD。 





市 面 上 流行 的 BDD 工 具 不 算 太 多 ，Cucumber 是 很 主流 的 一 种 。 项 目 组 派 人 做 调研 时 发 现 Cucumber 只 能 基于 给 定 的 关键 字 编 写 用 例 和 场景 ， 不 那么 灵活 ， 而 且 不 能 添加 图 片 。 所 以 很 多 
架构 图 、 业 务 流程 等 内 容 无 法 包含 在 用 例 和 场景 中 ， 还 需要 单独 管理 ( 见 图 7-12) 。 























| buy _bookfeature x 


Featuyre: 
In order to purchase it later 
As a consumer 
I want to add a book to my shopping cart 


Scenario: Consumer can add a book to shopping cart 
Given I open "http://www.360buy .com/" 
When I search for "The Lean Startup” 
And I buy the book 
Then I should see the book in my shopping cart 


Scenario Outline: Consumer can add a book to shopping cart 
Given I open "http://Ww.360buy .com/" 
When I search for “< E>" 
And I buy the book 
Then I should see the book in my shopping cart 
Examples: 
| | 
| The Lean Startup | 
| Steve Jobs | 





图 7-12 Cucumber 有 自己 的 关键 字 


调研 人 员 发现 市 面 上 还 有 一 种 流行 的 BDD 工 具 叫 Concordion， 可 以 使 用 HTML 编 写 用 例 和 场景 描述 ( 见 图 7-13) ， 因 此 支持 使 用 任何 形式 的 语言 和 句 式 ， 也 没有 固定 的 关键 字 ， 而 且 还 
可 以 添加 图 片 甚至 视频 等 信息 ( 见 图 7-14) 。 
































<html xnatnsiconcordion='http://www.concordion.org/2607/concordion"> 


<head> 
<Link hrefa"../concordion,css”rete'styLesheet”typen'text/css” /> 
</head> 


<hli>Acquire Account</hi> 


<h2>Navigate to Acquire Account page</h2> 
中 class="when” concordion:execute="openAcquireLandingPage()">User open acquire landing page</p> 
<ing src="CreateAccount ,png™” height="364" width="382" alt="On this page™ /> 
中 class="and">If the user clicks on the <span concordion:execute="clickewCustoner()">I an a new customer</span></> 
<p class="then">Then the user should be on the <span concordion:assertTrue="displayNewCustonorAcquiroelonePage()"><strong>custonmer acquirt 


<body> 


hl>Acquire Forme/hl> 

<h2>Error Handl 

<p concordion:execute= "cresthccountMithALLFieLdsEnpty(j"> The user create 8 account with all mandatory fields (Title, Given Name, La: 
<p concordion:execute="initLabeiNap()” style=".,."> Initialise all label information mapping</p> 

<“p concordion:execute= "colloctErrorlessogedata()"> And the user will see whether the field is mandatory or not, </p> 


<table concordion:execute="#result = isMissiedFieldNaendatory (smissedField)"> 
<tr><th concordion:set= missedField" >Missed Fields</th> <th concordion:assertEquals="#result">Is Mandatory</th></tr> 
<tr><td>Title</td> <td>Yes</td></tr> 
<td>Yes</td></tr> 
<td>Yes</td></tr> 
<td>Yes</td></tr> 
<tr><td>Date of Birth</td> <td>Yes</td></tr> 
<tr><td>Tax File Number</td> <td>No</td></tr> 
<tr><td>0ccupation</td> <td>Yes</td></tr> 
<tr><td>Street number</td> <td>Yes</td></tr> 
<tr><td>Street address</td> <td>Yes</td></tr> 
<tr><td>Postcode or suburb</td> <td>Yes</td></tr> 
<tr><td>Postal:Street number</td> <td>Yes</td></tr> 
<tr><td>Postal:Street address«/td> <td>No</td></tr> 
<tr><td>Postal:Postcode or suburb</td> <td>Yes</td></tr> 
<td>Yes</td></tr> 
<td>Yes</td></tr> 
<tdNo</td></tr> 
<td>No</td></tr> 


<p>The vser provide5 the input for Acquire Page:</p> 
<div class="exsmple"> 
| <tabte concordion:execute="collectKeyValueData(#key, $value)"> 
tr> 
<th>Field Descrintionc/th> 





图 7-13 ”Concordion 使 用 HTML 编写 用 例 和 场景 


Acquire Account 


Navigate to Acquire Account page 


User open acquire landing page 


Create account 


Your name 


Password 


at least © characters 


Password again 





Create your account 


I{ the user dlicks on the | am a new cusiomer 


Then the user should be on the customer acquire page. 


Acquire Form 


Error Handling 


The user create a account with all mandatory fields (Title, Given Name. Last Name, Gender. Date of Birth) not be filled. 


And the user will see whether the field gs mandatory or not. 


Civan Noma 





图 7-14 ”Concordion 中 用 例 和 场景 可 以 添加 图 片 等 


由 于 Concordion 的 表达 方式 更 丰富 ， 而 且 开 发 人 员 可 以 使 用 熟悉 的 HTML， 而 不 用 学 习 别 的 语言 ， 所 以 项 目 组 选用 了 Concordion 作 为 BDD 的 工具 。 








Concordion 描 述 用 例 及 场景 ， 可 以 使 用 图 片 来 丰富 表达 需求 ， 给 项 目 组 带 来 了 很 大 便利 。 但 它 也 有 一 个 很 致命 的 问题 : Concordion 的 用 例 和 场景 是 使 用 HTML 编 写 的 ， 业 务 方 通常 没有 
能 力 直接 编写 。 所 以 这 个 责任 就 交 给 了 小 蔡 等 测试 人 员 。 
































然而 小 蔡 她 们 在 编写 用 例 和 场景 时 ， 却 发 现 自己 编写 的 场景 时 不 时 地 不 能 通过 持续 集成 环境 的 测试 ， 经 常 再 耗费 半天 时 间 调 查 问题 原因 。 





小 蔡 她 们 发 现 用 例 和 脚本 中 ，Concordion 调 用 具体 的 方法 时 ， 类 似 于 “concordion: execute=”creatAccountWithAllFieldsEmpty () 这 样 的 语句 中 ， 经 常会 融 错 一 两 个 字母 ， 导 : 
不 能 调用 正确 的 方法 。 但 是 出 错 日 志 中 的 信息 却 很 模糊 ， 没 有 直接 指明 ， 方 法 无 法 找到 。 

















另外 ，Concordion 使 用 的 语句 没有 办 法 进行 进一步 的 抽象 ， 只 能 对 实际 调用 的 方法 进行 封装 ， 这 也 导致 无 法 在 业务 逻辑 层 更 好 地 使 用 领域 专业 语言 DSL 进 行 描述 。 





小 莹 她 们 现在 是 骑 虎 难 下 。 由 于 之 前 使 用 Concordion 编 写 ， 并 积累 了 大 量 的 BDD 的 用 例 及 场景 ， 所 以 没有 办 法 切换 到 其 他 工具 ， 只 能 硬 着 头皮 继续 使 用 Concordion。 不 过 这 让 项 目 组 所 
有 人 意识 到 ， 下 次 在 选择 测试 框架 和 工具 时 也 需要 考虑 到 Debug 的 难 易 程度 。 








wma Cucumber、Concordion 和 Gauge 
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登 


(1) Cucumber 
Cucumbet 是 非常 流行 的 BDD 工 具 ， 它 使 用 自己 的 关键 字 Given/When/Then 编 写 feature 文 件 。 
Cucumbet 的 特点 是 上 手 简单 ， 社 区 活跃 ， 但 文档 表现 力 不 足 。 所 以 如 果 团队 刚 开始 尝试 BDD， 更 看 重 自动 化 测试 方面 ， 而 对 需求 文档 化 要 求 不 高 ，Cucumber 是 一 个 不 错 的 选择 。 
同时 Cucumber 目 前 支持 Ruby、C#、JVM、JS 和 C++。 

(2) Concordion 


与 Cucumbet 相 比 ，Concotdion 提 供 了 更 好 的 文档 支持 。Concotdion 的 Specification 是 HTML 格式 的 ， 此 不 需要 使 用 Given/When/Then 进 行 功能 描述 。 而 HTML 可 以 更 加 自由 地 描述 业务 需 
同时 增加 样式 ， 添 加 交互 ， 放 入 视频 和 图 片 等 。 总 而 言 之 ，HTML 比 纯 文 本 更 加 灵活 强大 ， 适 合 阅读 。 


但 是 HTML 的 学 习 和 维护 成 本 比 纯 文本 更 加 昂贵 ， 非 技术 的 人 可 能 很 难 单独 完成 。 和 技术 人 员 结 对 完成 ， 或 者 在 技术 人 员 完 成 后 进行 审查 也 是 一 个 不 错 的 选择 。 
不 过 由 于 Concotrdion 目 前 只 对 C# 和 Java 支 持 较 好 ， 所 以 如 果 团队 刚好 用 到 C# 和 Java， 并 且 非 常 看 重文 档 化 需求 ， 那 么 Concotrdion 要 比 Cucumbet 更 适合 。 
(3) Gauge 
Gauge 也 在 文档 方面 进行 了 改善 ，Gauge 的 Specification 文 件 由 Markdown 组 成 ， 相 对 纯 文本 有 了 一 定 程度 的 提升 ,但 不 如 Concordion 灵 活 。 
Gauge 使 用 Go 编写 ， 天 然 支持 并 发 运行 ， 相 比 之 下 性 能 要 更 加 有 优势 。 


同时 Gauge 支 持 多 语言 实现 ， 目 前 支持 Java，C# 和 Ruby， 相 比 Cucumber 在 跨 平台 式 需要 整体 切换 ，Gauge 更 容易 做 跨 平台 。 


.5 ”自动 化 测试 框架 选 型 调研 需要 使 用 复杂 场景 





在 意识 到 手工 测试 效率 不 够 高 ， 而 且 存在 大 量 重复 的 测试 场景 ， 使 得 测试 成 为 产品 开发 中 的 瓶颈 后 ， 整 个 团队 开始 探讨 如 何 提高 测试 的 效率 。 自 动 化 测试 显然 是 最 自然 的 改进 措施 之 一 。 























对 于 自动 化 测试 框架 和 工具 的 选 型 ， 项 目 组 并 没有 匆忙 中 随便 选择 一 个 框架 进行 使 用 ， 而 是 基于 整个 公司 中 不 少 团 队 正在 使 用 测试 用 例 及 缺陷 管理 工具 Quality Center (QC) 和 与 之 对 
























































的 自动 化 测试 工具 QTP/UFT 的 现状 进行 选 型 ， 出 于 节约 成 本 ， 以 及 能 够 和 别 的 项 目 组 进行 深入 合作 的 考虑 ，QTP/UFT 自 然 成 为 了 第 一 选择 。 
鉴于 开发 人 员 对 于 编码 更 有 经 验 ， 项 目 组 选派 了 几 个 开发 人 员 进 行 自动 化 测试 框架 和 工具 的 调研 ， 希 望 通 过 调研 选择 一 个 适合 项 目 组 的 工具 。 
虽然 QTP/UFT 使 用 的 是 VisualBasicScript (VBScript) 来 编写 自动 化 测试 的 脚本 ， 开 发 人 员 还 是 快速 使 用 QTP/UFT 搭 建 出 一 套 自 动 化 测试 环境 ， 并 且 完 成 了 一 个 演示 的 测试 场景 : 用 户 





随后 开发 人 员 顺 利 地 对 整个 项 目 组 进行 了 演示 。 





当 大 家 觉得 需要 开始 学 习 VBScript 进 行 自动 化 测试 的 编写 时 ， 老 牛 提出 了 一 个 问题 : 能 不 能 使 用 QTP/UFT 来 完成 用 户 购买 商品 这 一 整个 流程 ( 见 图 7-15) 呢 ? 因为 现在 演示 的 用 户 登 录 
景 应 该 是 产品 里 界面 和 流程 都 最 简单 的 场景 ， 所 以 这 个 场景 的 成 功 演 示 ， 并 不 能 代表 QTP/UFT 真 正 适应 产品 的 自动 化 测试 开发 。 























登录 。 ”一 > 商品 展示 ”一 > 添加 购物 车 一 > F 单 ”一 > 订单 追踪 一 > 完成 


图 7-15 ”用户 购物 流程 ， 登 录 只 是 很 少 一 部 分 








老 牛 质疑 得 很 在 理 ， 小 蔡 和 其 他 项 目 组 成 员 都 觉得 有 必要 再 深入 研究 清楚 ， 虽 然 做 调研 的 开发 人 员 有 点 不 情愿 ， 但 还 是 继续 进行 深入 调研 。 

















在 编写 用 户 购买 商品 整个 流程 的 自动 化 脚本 过 程 中 ， 开 发 人 员 发 现在 添加 购物 车 的 环节 就 进行 不 下 去 了 一 一 购物 车 是 使 用 HTML 5 实现 的 〈 见 图 7-16) ， 但 是 小 蔡 公 司 统一 使 用 的 是 









































QTP/UFT 11， 这 一 版 本 是 不 支持 HTML 5 的 ， 只 有 QTP/UFT 12 以 上 才能 支持 ， 而 升级 需要 耗费 大 量 的 人 力 和 物力 ， 至 少 暂 时 公司 没有 这 样 的 打算 。 





Design Bundle Package 
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Stuff on my Cat: The Book 


SpongeBob's First 100 Episodes 


JavaScript & jQuery: The Missing Manual 





Shipping & Tax 


Total: 








Checkout Now! 


图 7-16 ”使 用 HTML 5 实现 的 购物 车 


这 一 限制 导致 项 目 组 没有 办 法 使 用 QTP/UFT， 只 能 重新 选择 业界 通用 的 开源 框架 ， 诸 如 Selenium-WebDriver 等 进行 调研 。 


汲取 了 上 一 次 的 经 验 ， 这 次 开发 人 员 直 接 使 用 用 户 购买 商品 的 场景 进行 调研 和 演示 ， 发 现 开源 的 Selenium-WebDriver 框 架 ， 完 全 能 满足 项 目 组 自动 化 测试 的 需求 ， 而 且 更 加 轻 量化 ， 更 
容易 搭建 和 维护 。 产 品 的 自动 化 测试 框架 最 终 选 择 了 Selenium-WebDriver， 而 不 是 商业 化 的 QTP/UFT。 


小 葵 庆 幸 老 牛 及 时 提出 了 自动 化 测试 框架 调研 需要 使 用 复杂 的 用 户 场景 进行 验证 ， 不 然 等 到 真正 开始 自动 化 脚本 编写 时 再 发 现 问题 就 晚 了 。 看 来 老 牛 估计 以 前 也 吃 过 这 样 的 亏 ， 才 能 记 住 


教训 ， 





提前 预防 啊 ! 


全 后 展 知识 自动 化 测 江 和 测 汪 自动 化 


自动 人 


自动 化 测试 指 的 是 把 手动 执行 的 测试 用 例 通过 编写 代码 等 方式 让 测试 的 执行 可 以 脱离 测试 人 员 的 手动 操作 而 让 计算 机 完成 。 当 然 自动 化 测试 用 例 并 不 等 同 于 手动 测试 的 用 例 ， 而 需要 根据 





上 测试 的 特点 ， 不 仅 把 手动 测试 用 例 进 行 合并 和 删 减 ， 而 且 可 以 通过 测试 步骤 的 重用 ， 达 到 更 高 的 覆盖 率 。 


测试 自动 化 看 似 和 自动 化 测试 一 样 ， 实 际 上 是 不 同 的 范畴 。 因 为 测试 这 个 概念 并 不 只 是 执行 测试 用 例 ， 而 且 还 包括 准备 测试 环境 ， 准 备 测试 数据 ， 进 行 分 析 ， 设 计 测 斌 计划 及 用 例 ， 甚 至 
是 在 测试 过 程 中 执行 探索 性 测试 等 。 可 见 测 试 自动 化 所 涵盖 的 范围 要 远 远大 于 自动 化 测试 。 而 一 切 可 以 帮助 我 们 提高 测试 的 工作 效率 的 工具 都 可 以 算 进 测 试 自动 化 的 工具 集 ， 并 且 我 们 也 应 该 
鼓励 多 使 用 和 开发 这 些 工具 ， 从 重复 性 的 工作 中 解放 测试 人 员 。 


7.6 


使 用 Mock 导 致 漏 测 很 多 真实 环境 的 场景 

















2016 年 6 月 初 ， 小 蔡 加 入 了 另 一 个 项 目 组 ， 这 一 组 自动 化 测试 覆盖 率 比较 高 。 自 动 化 测试 的 代码 主要 覆盖 了 单元 测试 、API 集 成 测试 、 端 到 端的 自动 化 集成 测试 。 高 覆盖 率 的 自动 化 测试 
给 测试 者 带 来 最 大 的 好 处 是 : 减少 大 量 回归 测试 。 这 可 以 让 小 莹 更 专注 于 在 探索 性 测试 中 发 现 Bug。 











最 近 产 品 在 线 却 出 了 问题 : 开发 人 员 修改 了 登录 模块 的 一 处 功能 ， 小 蔡 手 工 测试 也 通过 了 ， 而 用 户 却 发 现 了 个 人 信息 模块 的 Bug。 调 查 后 发 现 这 正 是 之 前 对 登录 模块 的 修改 而 引起 的 。 仿 
小 莹 感到 奇怪 的 是 ， 记 忆 中 个 人 信息 模块 有 较 高 的 E2E 自 动 化 测试 覆盖 来 测试 主要 功能 ， 难 道 是 E2E 的 测试 履 盖 不 够 全 面 才 导 致 这 个 Bug 被 漏 测 吗 ? 

















小 葵 开 始 寻找 答案 ， 她 打开 测试 编辑 器 ， 看 到 自动 化 测试 明确 覆盖 了 出 现 Bug 的 业务 场景 。 那 为 什么 个 人 信息 模块 还 会 出 现 Bug， 而 自动 化 测试 却 正常 运行 通过 ? 


刚 加 入 新 项 目 组 的 小 蔡 ， 对 已 有 的 自动 化 测试 代码 后 台 实 现 还 不 熟悉 ， 她 找到 编写 这 块 自动 化 测试 代码 的 同事 进行 讨论 ， 终 于 解 惑 了 : 尽管 E2E 测 试用 例 覆 盖 了 该 业务 场景 ， 但 由 于 E2E 














测试 使 用 了 Mock 测 试 ， 测 试 代 码 调用 某 些 模块 后 ， 返 回 的 测试 结果 不 是 真实 的 ， 等 于 说 使 用 了 Mock 测 试 后 ， 在 一 些 模块 的 结合 部 位 实际 上 没有 真正 进行 集成 测试 ， 这 次 个 人 信息 模块 在 上 
线 后 出 现 的 Bug 就 是 由 此 引起 的 。 


高 覆盖 率 的 E2E 自 动 化 测试 ， 在 使 用 Mock 测 试 后 会 漏 掉 一 些 集成 测试 部 分 的 测试 点 ， 那 么 为 什么 还 要 使 用 Mock 测 试 呢 ? 


1.Mock 测 试 的 优势 





Mock 测 试 就 是 在 测试 过 程 中 ， 对 于 某 些 不 容易 构造 或 者 不 容易 获取 的 对 象 ， 用 一 个 虚拟 的 对 象 来 创建 以 便 测试 的 测试 方法 。 














Meock 测 试 通常 在 单元 测试 级 别 使 用 的 比较 多 ， 可 以 加 快 单元 测试 执行 速度 、 提 高 团队 并 行 开发 效率 等 。 这 里 暂时 不 对 单元 测试 级 别 的 Mock 测 试 进行 讨论 ， 主 要 关注 在 E2E 测 试 过 程 中 使 
用 Mock 测 试 。 

















在 E2E 测 试 过 程 中 使 用 Mock 测 试 的 原因 很 多 ， 该 项 目 团队 选择 使 用 Mock 测 试 是 为 了 加 快 开发 和 测试 速度 ， 同 时 可 以 帮助 减少 E2E 测 试用 例 运行 时 间 。 最 初 团队 需要 把 项 目 划分 成 三 大 模 
块 ， 假 设 分 别 为 A、B、C， 由 3 个 小 组 分 别 开 发 ， 各 个 开发 小 组 的 开发 速度 必然 快慢 不 同 ， 进 度 不 一 ， 这 时 可 能 A 模 块 需要 使 用 B 和 (模块 的 服务 才能 完成 业务 流程 ， 而 B 和 (模块 对 应 的 接口 还 
没有 开发 完成 ， 因 此 开发 A 模块 的 团队 使 用 Mock 测 试 ， 按 照 之 前 和 B、C 两 个 团队 约定 好 的 接口 调用 参数 进行 构造 模拟 的 返回 结果 。 这 样 A 团 队 就 可 以 在 其 他 两 个 团队 没有 开发 完 的 情况 下 进 
行 独立 开发 和 测试 了 。 










































































Mock 测 试 调用 的 返回 结果 通常 如 图 7-17 所 示 ， 例 如 : 当 程 序 访问 以 “/grow” 结 尾 的 服务 ， 并 且 提 交 的 参数 是 “tree” 的 时 候 ， 程 序 会 返回 “blah” 这 个 预先 定义 好 的 值 。 这 样 ， 只 要 
在 A 模 块 中 定义 好 对 应 的 调用 URL 以 及 定义 好 返回 的 JSON 数 据 ， 就 可 以 隔离 开 B 和 (模块 独自 进行 测试 了 。 
































{ 
”request” : 
{ 
“uri”: "/grow", 
"queries” : 


{ 


"param” : "tree" 


} 


}， 


"response” : 


{ 
人 


} 





图 7-17 ” Mock 测试 返回 结 


2.Mock 测 试 存在 的 问题 : 没有 及 时 蔡 换 掉 M ock 测 试 会 怎样 














一 段 时 间 内 ， 使 用 Mock 测 试 可 以 提高 团队 开发 效率 。 但 在 B 和 C 团 队 都 开发 完 代码 后 ， 按 正常 思维 ， 这 时 应 该 把 E2E 测 试 代码 从 使 用 Mock 测 试 改 为 调用 真实 的 模块 ， 以 避免 出 现 模块 之 
间 集 成 部 分 漏 测 的 问题 。 此 时 如 果 团队 没有 进行 更 改 ， 而 是 继续 使 用 Mock 测 试 各 自 模块 ， 也 就 是 说 当 一 个 模块 做 改动 后 ， 调 用 这 个 模块 的 其 他 模块 没有 做 相应 修改 ， 那 么 模块 间 的 调用 就 容 
易 出 现 Bug， 所 以 需要 及 时 调整 。 



















































































是 否 可 以 考虑 删除 所 有 E2E 中 的 Mock 测 试 呢 ? 来 试想 一 下 : 项 目 组 的 程序 需要 调用 银行 结算 AP1， 而 这 个 API 只 能 在 被 调用 后 72 个 小 时 才 返 回 数据 结果 ， 如 果 E2E 测 试 在 这 里 不 用 Mock 测 
试 ， 那 跑 完 一 次 测试 用 例 的 时 间 是 无 法 接受 的 。 所 以 这 个 假想 被 推翻 。 





3. 小 蔡 的 小 收获 














1) 测试 人 员 不 应 该 被 覆盖 率 高 的 E2E 自 动 化 测试 所 迷惑 ， 履 盖 率 高 不 代表 没有 问题 ， 尤 其 在 接手 新 项 目 中 ， 需 要 查看 E2E 测 试 中 有 没有 使 用 Mock 测 试 ， 进 一 步 去 判断 这 些 地 方 使 用 
Mock 测 试 是否 合理 ， 这 些 Mock 测 试 是 否 应 该 被 替换 成 真实 模块 之 间 的 调用 与 集成 测试 。 






































2) 如 果 E2E 测 试 中 必须 使 用 Mock 测 试 ， 这 部 分 还 应 该 做 详细 的 手工 测试 。 模 块 与 模块 之 间 的 调用 很 可 能 会 隐藏 比较 多 的 Bug。 

















7.7 ”开发 UI 自动 化 测试 技巧 锦 集 


在 一 次 线 下 交流 中 ， 当 谈论 起 自动 化 测试 〈 这 类 操控 软件 的 软件 ) 的 未 来 ， 大 家 爆 出 很 多 不 同 见解 ， 有 人 欢喜 有 人 悉 。 喜 忧 ， 我 们 暂且 不 论 。 有 人 说 ，UI 自 动 化 测试 生来 就 具有 一 种 能 
力 ， 你 可 以 不 依赖 它 ， 但 是 你 需要 它 。 那 么 开发 UI 自动 化 测试 有 没有 什么 技巧 呢 ? 我 们 一 起 来 看 看 小 蔡 从 老 牛 那儿 淘 到 的 “ 真 经 ” (笔记 ) ! 
































“ 规划 自动 化 测试 数据 。 


- 编写 更 稳定 的 测试 脚本 。 


“ 缩短 脚本 运行 时 间 。 


1. 规 划 自 动 化 测试 数据 


第 1 步 ， 在 编写 自动 化 测试 脚本 时 ， 分 离 测试 数据 和 用 户 场景 ， 代 码 更 易 阅 读 和 维护 。 


第 2 步 ， 重 复 执行 测试 用 例 时 ， 干 万 不 要 让 测试 数据 和 数据 库 已 有 数据 发 生 冲 突 。 








第 3 步 ， 测 试 脚本 所 依赖 的 测试 数据 ， 根 据 不 同 的 策略 ， 可 以 选择 不 同方 式 来 生成 。 








3.1: 相对 简单 的 测试 数据 ， 例 如 计算 一 年 前 的 今天 是 星期 几 ， 或 者 读 取 登 录用 户 名 等 信息 ， 推 荐 如 下 方式 。 
@@ 直 接 在 代码 中 生成 。 


@ 从 配置 文件 中 读 取 。 





3.2: 经 过 复杂 业务 逻辑 生成 的 测试 数据 ， 则 可 以 使 用 测试 脚本 在 页 面 点 击 的 方式 生成 ， 通 过 自动 化 脚本 在 页 面 的 点 击 ， 模 拟 真 实用 户 的 页 面 操作 ， 最 终生 成 测试 所 需要 的 数据 。 


优点 : 直观 ， 只 需 在 界面 模拟 用 户 操作 即 可 ， 无 需 关 注 数据 如 何 保存 到 后 台数 据 库 表 中 ， 以 及 数据 库 表 的 结构 和 关联 关系 。 








缺点 : 执行 速度 慢 ，UI 自 动 化 脚本 执行 点 击 、 输 入 数据 、 等 待 页 面 加 载 完成 操作 耗 时 较 长 ， 如 果 希 望 更 快 ， 那 就 推荐 使 用 3.3 中 的 方式 。 
3.3: 通过 API 注 入 生成 数据 。 


举 个 例子 吧 : 一 个 工作 流 软件 的 某 个 流程 有 很 多 步骤 ， 当 我 们 只 想 测试 最 后 一 步 的 页 面 显示 时 ， 必 须 先生 成 前 面 多 个 步骤 的 数据 。 这 种 情况 如 果 使 用 3.2 这 种 在 页 面 点 击 的 方式 ， 可 能 需 
要 十 多 分 钟 。 而 整个 系统 中 存在 成 百 上 干 个 类 似 用 例 ， 数 学 好 的 同学 可 以 简单 粗略 地 计算 下 这 成 百 上 干 个 用 例 的 耗 时 。 


























这 种 情况 下 高 效 生成 数据 ， 非 API 注 入 方式 莫 调 需 才 次 | 妆 。 这 种 方式 带 来 的 是 时 间 数 量 级 的 提升 ， 如 果 页 面 点 击 生成 数据 方式 需要 十 多 分 钟 才能 完 
成 ， 那 么 API 注 入 的 方式 可 能 仅 需 几 秒 。 








然而 ， 看 起 来 十 分 完美 的 API 注 入 数据 方式 也 存在 缺点 ， 使 用 API 注 入 的 方式 给 我 们 带 来 性 能 极 大 提升 的 同时 ， 也 增加 了 了 解数 据 库 表 结 构 和 维护 API 的 工作 量 。 








用 户 在 页 面 上 点 击 一 次 提交 操作 ， 在 后 台 可 能 会 修改 多 张 数据 库 表 。 也 有 可 能 在 插入 这 条 数据 时 ， 触 发 数据 库 触发 器 修改 其 他 表 中 的 数据 ， 或 者 在 后 台 有 定时 任务 去 定时 修改 其 他 表 的 数 
据 。 所 以 使 用 这 种 方式 之 前 需要 清楚 数据 表 结构 和 表 之 间 的 关联 关系 。 





同时 ， 由 于 未 来 的 业务 、 技 术 架 构 等 变动 可 能 引起 的 相关 变动 ， 也 要 求 我 们 投入 一 些 时 间 到 API 维 护 的 工作 中 去 。 





第 4 步 : 统一 命名 测试 数据 。 











当 自 动 化 脚本 运行 的 环境 和 开发 团队 使 用 同一 个 环境 时 ， 最 好 使 用 统一 格式 。 例 如 以 “AutoTest ”开头 ， 去 给 测试 数据 命名 ， 并 告知 团队 其 他 人 避免 误 用 这 些 测试 数据 。 当 一 条 自动 化 
测试 数据 被 其 他 人 误 用 在 业务 流程 中 后 ， 极 有 可 能 会 造成 脚本 在 删除 该 条 数据 时 无 法 进行 。 









































自动 化 脚本 有 独立 的 自动 化 测试 环境 是 最 好 的 ， 这 样 ， 可 以 有 效 防 止 测试 数据 和 其 他 数据 发 生 冲突 。 





2 .编写 更 稳定 的 测试 脚本 








和 其 他 代码 一 样 ， 编 写 UI 自 动 化 测试 代码 同样 需要 遵守 编码 的 最 佳 实践 ， 去 除 代码 中 的 Bad Smell ( 臭 味道 ) 。 我 们 需要 定期 重 构 已 有 代码 ， 让 代码 更 易 阅 读 和 维护 。 代 码 重 构 的 内 容 很 
多 ， 对 于 想 深入 学 习 的 朋友 ， 可 以 参考 马丁 福 勒 (Martin Fowler) 《 重 构 : 改善 赋 有 代码 的 设计 》 这 本 书 。 比 起 业务 上 的 程序 编码 ，UI 自 动 化 测试 代码 中 的 Bad smell 更 常见 于 重复 的 代 
码 、 方 法 体 过 长 、 类 中 的 代码 过 多 、 方 法 的 参数 数量 过 多 等 。 











(1) 重复 的 代码 











当 不 同 的 代码 文件 中 存在 相同 的 代码 逻辑 或 者 拷贝 过 来 的 相同 代码 ， 就 需要 做 优化 了 。 优 化 方法 很 简单 ， 把 相同 代码 抽取 出 来 被 其 他 方法 调用 ， 或 者 使 用 抽象 类 等 方式 ， 通 过 代码 模板 的 
方式 减少 代码 重复 。 消 除 代码 重复 后 ， 一 旦 业务 和 计算 规则 发 生 改 变 ， 我 们 只 需 改动 一 处 代码 即 可 。 





(2) 方法 体 过 长 





代码 中 的 方法 体 过 长 直接 影响 他 人 理解 代码 的 速度 。 这 时 可 以 按照 逻辑 划分 ， 也 可 以 使 用 抽象 类 或 者 接口 等 方式 ， 减 少 方法 体 的 长 度 。 











(3) 类 中 代码 过 多 


类 中 海量 代码 不 仅 可 读 性 大 受 影响 ， 维 护 起 来 也 相对 麻烦 。 面 向 对 象 的 方式 可 以 将 大 类 拆 解 成 多 个 更 易 维护 的 小 对 象 文件 ， 每 个 小 对 象 文件 坚守 自己 的 职责 ， 通 过 一 系列 小 对 象 文件 互相 
协作 最 终 完成 复杂 的 业务 目标 。 


UI 自动 化 测试 脚本 中 ， 我 们 还 可 以 使 用 Page Object 模式 ， 把 代码 拆 分 到 各 个 PO 对 象 中 ， 让 自动 化 测试 脚本 只 关注 业务 逻辑 ， 同 时 达到 减少 类 中 代码 行 数 的 目的 。 





见 图 7-18， 在 CreateProductPage 测 试 脚本 中 ， 只 会 看 到 和 业务 相关 的 代码 ， 免 去 了 每 个 页 面 的 操作 细节 ， 从 而 让 测试 代码 更 加 清晰 。 











public class CreateProductPage extends TestBase { 
@Test 
public void testProductPage() { 
String[] testData = { getPageTitle(), getPageBody() }; 
getLoginPage().login(this.getUsername(), this.getPassword()); 
getNavigation().selectQuickCreateButton(); 


本 fillTitleAndBody(testData); 


/验证 新 建 商品 页 面 数 据 


getPUbItshadpPugat3， validatePageCreated(testData); 
getPublishedPage() .validateCommentBoxExists(); 





图 7-18 ”CreateProductPage 测 试 脚本 








区 


如 








7-19 所 示 ， 在 代码 中 会 用 到 LoginPage 这 个 PO 类 ， 这 个 类 中 和 页 面 操作 相关 的 元 素 ， 以 及 对 页 面 元 素 的 操作 、 断 言 等 方法 ， 都 被 封装 在 这 个 类 中 。 





public class LogtnPage { 


private WebDriver driver,; 
@FindBy(1id = "usSername") 
private WebElement Username ; 
@FindByCid = "password") 
private WebELement password ; 
@FindBy(Ctd = "Login") 

private WebElement loginButton; 


public LoginPage(WebDriver driver) { 
this.driver = driver,; 


public void login(String user, String pass) { 
username.sendKeys(user); 
password.sendKeys(pass); 
loginButton.click(); 





图 7-19 LoginPage 类 中 和 页 面 操作 相关 的 代码 


(4) 过 长 的 方法 参数 
过 长 的 方法 参数 列表 让 人 理解 起 来 更 费时 ， 一 旦 需要 更 多 数据 ， 还 得 进行 修改 。 列 表 过 长 在 传递 参数 时 也 容易 因 手 误 出 现 Bug。 


例如 下 面 这 个 方法 有 7 个 参数 : 





Public void PromoteUser ( User user, Role roleName, String depName, String city, Date date, long cardID, double baseSalary) 





看 着 是 不 是 有 点 眼 晕 ? 这 样 会 不 会 简洁 很 多 : 





public void promoteUser ( PromotedUser pu); 





修改 后 的 方法 用 传递 对 象 的 方式 去 传递 参数 。 有 了 对 象 后 ， 你 只 需 给 方法 传递 一 个 对 象 ， 让 方法 能 从 中 获得 自己 需要 的 所 有 东西 就 行 了 。 
付 汪 癌 除了 去 除 代码 中 的 Bad Smell，UI 自 动 化 测试 本 身 也 有 一 些 好 的 实践 ， 可 以 帮助 我 们 提高 测试 代码 的 健壮 性 。 包 括 元 素 定位 的 优先 顺序 、 动 态 等 待 时 间 、Xpath 的 使 用 技巧 、 自 动 
化 脚本 中 的 断言 、 初 始 化 和 清理 测试 数据 。 
(5) 元 素 定位 的 优先 顺序 
使 用 D、Name、CSS、Xpath 等 方式 去 获取 页 面 中 的 元 素 ， 优 先 使 用 的 顺序 是 : 1D 一 Name 一 CSS 一 Xpath。 
议程 序 员 给 这 些 元 素 加 上 ID 和 Name) ， 这 时 就 需要 使 用 CSS 或 者 Xpath。Xpath 的 方式 优点 在 





其 中 ，ID 和 Name 使 用 起 来 简单 ， 且 易 维 护 。 有 些 页 面 元 素 没有 ID 或 者 Name (我 们 可 以 下 
于 总 是 能 找到 页 面 上 的 元 素 ， 但 Xpath 在 维护 时 会 麻烦 一 些 ， 因 为 Xpath 的 书写 方式 不 够 直观 。 


图 7-20 使 用 了 4 种 元 素 定 位 方式 ， 我 们 可 以 直观 地 感受 到 不 同 定位 方法 的 优 劣 ， 其 中 最 后 一 个 Xpath 的 定位 方式 中 写 了 很 多 页 面 上 的 li、div 等 布局 标签 ， 往 往 界面 排版 发 生变 化 ， 这 个 
Xpath 就 需要 做 修改 。 


@FindBy(id = "login n"J 儿 通过 过 ID 查 询 


private WebElement LoginButton ; 
@FindBy(name = "emails") <@ 一 通过 Name 查 询 
private WebElement emailInputField, 


@FindBy(css = "span.template-preview.task-report- icon") 儿 一通 通过 Css 查询 


private WebELement reportIcon; 
@FindBy(xpath = CMbm Lt LOC osse Ny gn 多 pe 痊 ouPing- lvX\"]/ul/li/div/span/div/a)[2]") 


和 千 
private WebElement currentPage; 通过 Xpath 生 i 





图 7-20 ”定位 界面 元 素 的 方式 


(6) 动态 等 待 时 间 








有 时 必须 使 用 线程 暂停 的 方式 去 等 待 页 面 加 载 ， 例 如 测试 视频 回放 功能 ， 需 要 在 被 测 视频 播放 一 段 时 间 后 ， 再 进行 点 击 回放 按钮 。 这 种 让 线程 等 待 固定 时 间 的 方式 应 尽量 避免 使 用 ， 可 以 
选择 动态 判断 页 面 元 素 加 载 是 否 完 成 。 





图 7-21 中 的 代码 会 动态 判断 页 面 元 素 是 否 已 经 显示 。 


public static void waitForElementDisplayCWebDriver drivenr， 


final WebElement element) { 
WebDriverWait wait = new WebDriverWait(driver, DEFAULT_WAIT_TIME); 
wait.until(new ExpectedCondition<Boolean>() { 


public Boolean apply(WebDriver d) { 
return element.1isDisplayed(); 


} 





图 7-21 动态 等 待 页 面 元 素 加 载 


上 面 代码 中 的 element.isDisplayed () 如 果 改 为 element.isEnabled () 或 者 element.isSelected () ， 这 段 代码 就 从 动态 等 待 元 素 显 示 变 为 动态 等 待 元 素 ， 状 态 变 为 enabled， 或 者 动 
态 等 待 元 素 被 选中 了 。 


(7) 自动 化 脚本 中 的 断言 





自动 化 脚本 中 包含 很 多 断言 (Assert) 语句 ， 用 来 判断 页 面 上 指定 控件 是 否 存 在 ， 以 及 控件 显示 值 是 否 同 预期 一 致 等 。 不 建议 对 页 面 所 有 细节 信息 都 做 断言 ， 只 需 选择 和 当前 流程 密切 相 
关 的 即 可 。 














哪些 信息 不 适合 做 断言 ? 当 页 面 上 某 个 信息 的 显示 与 否 ， 不 单 和 这 个 自动 化 脚本 自身 相关 ， 还 会 被 其 他 因素 影响 ， 那 么 这 类 信息 是 不 适合 做 断言 点 的 ， 一 旦 信息 显示 不 受 脚本 完全 控制 ， 
就 会 让 脚本 的 运行 结果 变 得 不 稳定 。 


(8) 使 用 @BeforeTest 和 @AfterTest 初 始 化 和 清理 测试 数据 














如 图 7-22 所 示 ， 执 行 测试 用 例 之 前 会 自动 执行 requiredData 这 个 方法 ， 测 试 执行 完毕 自动 执行 cleanData 方 法 。 这 样 做 可 以 让 测试 脚本 更 加 清晰 并 聚焦 在 测试 业务 yearlyData () 中 。 





GBeforeTest 

public void requiredData() { 
user = createRandomUser(); 
initLocation(user ) ， 


} 


Gorg.testng.annotations.Test(priority = 1) 


public void yearlyData() 1 


getLoginPage(). login(); 
getHomePage().goCommercial(); 
checkYearLyDatal( ) ; 


} 


@GAfterTest 
public void cleanData() { 
deleteUser (user): 


} 


图 7-22 ”初始 化 和 清理 测试 数据 


(9) 使 用 优化 后 的 XPath 





用 火狐 浏览 器 的 FireBug 等 插件 可 以 获取 到 页 面 元 素 对 应 的 XPath (从 Firefox 的 官方 网 站 上 下 载 Firebug 和 XPath Checker 两 个 插件 ， 按 照 提示 步骤 进行 安装 ) 。 不 过 ， 使 用 工具 获得 的 





XPath 通常 比较 复杂 ， 需 要 我 们 做 进一步 的 优化 。 例 如 : 


我 们 使 用 XPath Checker 工 具 得 到 的 XPath 可 能 是 这 样 的 : 








id('forml') /x:table[2] /x:tbody/x:tr/x:td[1]/x:table/x:tbody/x:tr/x:td/x:table/x:tbody/x:tr[2] /x:td/x:table/x:tbody/x:tr[2] /x:td/x:table/x:tbody/x:tr/x:td/button[1] 





优化 后 的 XPath 则 会 是 这 样 的 : 





//button[contains (text () ， "登录 系统 ") ] 





因此 ， 我 们 在 熟悉 XPath 的 语法 后 ， 尽 量 用 更 为 简洁 的 代码 来 查找 页 面 元 素 ， 这 样 你 会 发 现 ， 代 码 维护 也 变 得 容易 起 来 了 。 





此 外 ，XPath 有 一 些 特殊 语法 ， 熟 练 使 用 可 以 帮助 我 们 写 出 更 易 维护 的 代码 。 例 如 : 查询 某 个 节点 的 子 节点 ， 可 以 使 用 “child: : ”的 方式 ; 
sibling: : ”。 试 一 试 ， 保 证 惊喜 不 断 。 








(10) 让 测试 脚本 独立 自主 


查询 相 邻 节点 ， 可 以 使 用 “following- 





为 什么 要 尽量 让 测试 脚本 做 到 彼此 独立 呢 ? 测试 脚 本 依赖 关系 比较 多 的 情况 下 ， 运 行 失败 ， 要 排查 出 错 原因 就 相对 复杂 : 脚本 自身 问题 ; 它 所 依赖 的 其 他 脚本 问题 。 而 彼此 独立 的 测试 脚 





本 ， 除 了 方便 排查 出 错 原因 外 ， 还 可 以 让 团队 成 员 分 开 编写 ， 加 快 开发 进度 。 





3. 当 脚本 运行 出 错 后 ， 怎 么 让 调试 更 加 容易 


引起 测试 脚本 出 错 的 原因 有 很 多 : 测试 数据 发 生 冲 突 ， 界 面 发 生变 化 ， 环 境 、 测 试 框架 本 身 不 稳定 等 。 测 试 脚本 数量 庞大 ， 在 运行 过 程 中 常 有 几 个 出 错 的 ， 那 么 如 何 精准 定位 出 错 原因 
呢 ? 
@ 自 动 生成 测试 报告 。 测 试用 例 执行 完 自动 生成 测试 报告 ， 测 试 报告 中 包含 每 个 用 例 运 行 的 详细 信息 ， 以 及 出 错 的 异常 堆栈 ， 同 时 让 系统 把 测试 报告 自动 发 送 给 团队 成 员 ， 提 醒 他 们 及 时 


修复 错误 。 








k 











@ 截 图 。 当 一 个 测试 脚本 运行 失败 ， 系 统 自动 截图 并 保存 。 通 过 截图 查看 当时 界面 的 显示 内 容 。 





























四 记录 调试 信息 。 在 代码 中 通过 日 志 的 方式 记录 调试 信息 ， 包 括 当 时 使 用 的 测试 数据 、 测 试 环境 等 ， 来 帮助 我 们 分 析 脚本 失败 的 原因 。 



































@ 标 注 上 断言 信息 。 用 Assert 给 页 面 显示 情况 做 断言 时 ， 标 注 有 意义 的 断言 信息 ， 例 如 : 


Assert .assertTrue (“登录 状态 应 该 为 已 登录 ”, 1ogStatus .getText () .equals ("已 登录 ”) ) ; 








系统 运行 到 这 行 代码 时 ， 如 果 登 录 状 态 不 是 “已 登录 ” ， 就 会 抛 出 异常 并 包含 信息 “登录 状态 应 该 为 已 登录 ”， 可 以 帮助 快速 判断 系统 出 错 原 因 。 





4. 如 何 缩短 脚本 运行 时 间 
































设想 这 样 一 个 场景 : 公司 产品 部 有 一 个 历史 遗留 系统 ， 每 年 都 给 这 个 系统 开发 新 功能 ， 同 时 维护 旧 功 能 。 目 前 该 系统 的 UI 自动 化 测试 用 例 已 经 超过 两 万 条 ， 运 行 一 次 所 有 脚本 需要 三 天 时 
间 。 当 程序 员 提交 一 段 代码 后 ， 需 要 经 过 三 天 才能 知道 这 段 代 码 有 没有 引入 新 的 缺陷 ， 产 品质 量 的 反馈 周期 略 长 。 























缩短 UI 自动 化 测试 脚本 运行 时 间 ， 势 在 必 行 。 
@ 增 加 测试 机 器 ， 多 台 机 器 并 发 运行 互 不 依赖 的 测试 脚本 。 


@@ 通 过 API 注 入 的 方式 插入 测试 数据 ， 从 而 缩减 测试 数据 的 准备 时 间 。 











@ 给 用 例 添 分 类 标签 ， 把 核心 用 例 加 到 冒 烟 测试 标签 中 。 每 次 代码 提交 只 运行 核心 测试 用 例 ， 确 保 新 提交 的 代码 不 会 破坏 产品 核心 功能 。 在 每 天 晚上 跑 自动 化 测试 用 例 全 集 ， 去 验证 非 核 
心 功能 是 否 被 新 代码 破坏 。 











@ 使 用 Mock 方 式 加 快 测试 脚本 执行 速度 。 例 如 调用 第 三 方 的 银行 服务 时 ， 服 务 返 回 时 间 几 分 钟 到 几 小 时 都 有 可 能 ， 这 种 情况 下 就 需要 使 用 Mock 方 式 ， 模 拟 银行 服务 调用 和 返回 数据 。 
Mock 服 务 通 常 都 在 本 地 进行 调用 和 返回 ， 执 行 速 度 非 常 快 。 
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这 里 需要 注意 ， 使 用 Mock 方 式 ， 只 能 保证 系统 内 部 业务 逻辑 正常 ， 要 想 确 保 服务 调用 正常 ， 还 需要 单独 的 测试 用 例 去 覆盖 调用 过 程 。 (可 以 参考 本 章 故事 “使 用 Mock 导 致 漏 测 很 多 
实 环境 的 场景 ”。) 





























5. 小 莹 总 结 




















对 于 小 蔡 ， 老 牛 倒是 希望 她 能 利用 业余 多 多 练习 写 自 动 化 测试 代码 ， 并 不 断 重 构 ， 使 代码 健壮 起 来 。 这 样 不 但 可 以 减少 脚本 缺陷 ， 还 能 更 清楚 地 了 解 软件 内 部 实现 原理 ， 这 对 日 常 探索 性 
测试 工作 有 很 大 帮助 。 








测试 人 员 对 代码 内 部 的 了 解 越 多 ， 越 容易 找 出 各 种 隐藏 的 缺陷 。UI 自 动 化 测试 脚本 便 是 测试 人 员 接 触 代码 开发 的 一 个 很 好 的 入 口 。 


7.8 小 结 























笔者 通过 自己 的 经 验 领悟 到 ， 使 用 现 有 的 自动 化 测试 工具 和 框架 并 不 复杂 ， 真 正 有 挑战 的 反而 是 自动 化 测试 数据 的 处 理 ， 自 动 化 测试 环境 的 准备 ， 自 动 化 测试 工具 和 框架 的 选 型 和 调研 ， 
以 及 辅助 自动 化 测试 运行 的 其 他 工具 和 实践 。 往 往 很 多 测试 人 员 认 为 熟悉 使 用 了 自动 化 测试 工具 和 框架 就 是 精通 了 自动 化 测试 ， 其 实 两 者 差别 还 很 大 ， 要 精通 自动 化 测试 ， 还 需要 深刻 了 解 自 
动 化 测试 的 适用 条 件 ， 体 系 结构 ， 运 行 和 维护 等 。 
























































此 外 ， 自 动 化 测试 与 手动 测试 相 比 并 不 能 说 谁 更 高 级 ， 而 是 两 者 搭配 使 用 才能 够 高 效 地 解决 问题 ， 提 升 产品 质量 ， 这 也 是 需要 我 们 在 做 自动 化 测试 时 需要 调整 的 心态 。 





第 8 章 ”移动 Web 测 试 





移动 端 测试 近年 来 成 为 业界 最 火爆 的 测试 项 目 之 一 。 而 移动 端 产品 中 ， 除 了 我 们 熟知 的 APP 测 试 以 外 ， 还 有 一 种 Web 测 试 的 衍生 品 
Web 测 试 由 于 其 载体 的 丰富 性 ， 两 者 最 大 的 差别 应 该 是 移动 Web 测 试 中 需要 考虑 的 兼容 性 问题 更 加 复杂 。 


移动 Web 测 试 。 和 普通 的 Web 测 试 相 比 ， 移 动 




















那么 除了 兼容 性 以 外 ， 还 有 哪些 问题 是 移动 Web 测 试 过 程 中 会 经 常见 到 的 呢 ? 本 章 把 移动 测试 中 的 一 些 常见 问题 作为 例子 ， 介 绍 了 遇 到 的 问题 和 原因 ， 以 及 如 何 解决 这 些 问题 。 


下 面 我 们 来 看 看 Web 测 试 中 的 这 些 故事 。 


8.1 ”测试 多 选 框 
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8-1 中 显示 的 是 一 个 手机 浏览 器 上 的 多 选 框 功能 。 





Developrrenl 





在 测试 这 个 多 选 框 时 ， 需 要 关注 以 下 功能 是 否 正常 : 





1) 点 击 图 8-1 中 位 置 1 处 的 关闭 按钮 ， 是 否 可 以 删除 所 有 已 选择 项 ; 











2) 是 否 可 以 选择 一 到 多 个 选项 ; 
3) 多 个 选项 选择 完毕 ， 是 否 可 以 正常 出 查询 结果 等 。 


怎样 才能 测 出 Bug 呢 ” 先 来 看 看 小 蔡 的 测试 思路 。 





1) 直观 来 看 ， 这 个 多 选 框 界 面 上 有 定制 的 部 分 ( 即 不 属于 基本 的 HTML 标 签 呈现 的 元 素 ) ， 此 类 定制 界面 容易 出 现 Bug， 在 一 些 老 的 浏览 器 版 本 上 一 般 不 能 正常 显示 。 例 如 已 选择 项 右 侧 
大 的 关闭 按钮 是 特殊 定制 的 部 分 ， 最 右 侧 的 下 拉 箭 头 也 是 定制 的 ， 就 有 可 能 出 现 浏览 器 兼容 性 问题 。 


2) 在 多 选 框 的 可 选项 中 ， 有 的 选项 文本 出 现 了 空格 (例如 第 三 个 选项 “Showrooms/Bulky Goods”) ， 这 有 可 能 导致 后 台 代 码 中 出 现 字符 串 解析 的 错误 ， 所 以 需要 单独 测试 ， 同 时 测 
试 联合 查询 有 空格 和 没有 空格 的 选项 。 


3) 当 屏 幕 旋转 后 变 宽 ， 已 选项 是 否 能 自 适 应 去 改变 界面 元 素 大 小 ， 在 不 同 尺 寸 的 手机 上 ， 是 否 会 出 现 文 本 和 按钮 重 晋 等 情况 。 





4) 手机 上 ， 往 往 有 些 按钮 在 用 户 点 击 时 不 易 点 中 (如果 用 模拟 器 测试 ， 相 对 比较 难 发 现 此 类 问题 ) ， 这 里 需要 在 手机 上 实际 操作 ， 手 指点 击 所 有 功能 点 ， 查 看 是 否 容易 点 击 并 且 点 击 区 


5) 做 一 些 回 归 测 试 ， 查 看 多 选 框 和 页 面 上 其 他 已 完成 的 过 滤 条 件 进 行 组 合 查询 ， 结 果 是 否 仍然 准确 。 


根据 小 蔡 的 测试 思路 ， 在 测试 过 程 中 发 现 的 Bug 如 下 。 
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1) 点 击 图 8-2 中 位 置 2 的 关闭 按钮 ， 可 以 正常 删除 该 选项 ， 但 是 点 击 “x” 状 按钮 文字 区 域 (图 8-2 中 的 位 置 3) 无 法 删除 该 选项 。 这 里 要 和 需求 人 员 确 认 ， 是 否 改 为 点 击 已 选项 的 文字 或 
者 “x” 状 按钮 ， 都 可 以 删除 该 选项 。 














区 





2) 点 击 图 8-2 中 位 置 2 的 关闭 按钮 ， 会 看 到 下 拉 框 的 下 边缘 会 折 看 回去。 但 是 同样 是 删除 已 选项 功能 的 右 侧 大 的 删除 图 标 “x” (图 8-2 中 的 位 置 1) ， 如 果 用 户 点 击 该 图 标 ， 会 发 现下 拉 
列表 框 不 会 折 肢 回去 ， 这 属于 两 种 删除 功能 给 用 户 的 反馈 方式 不 一 致 的 问题 。 
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图 8-2 多 选 框 上 的 功能 点 


3) 假如 选择 所 有 选项 ， 然 后 删除 其 中 一 个 ， 这 时 候 按照 上 一 个 Bug 2 的 描述 ， 下 拉 框 此 时 会 收回 。 如 果 点 击 最 右 侧 的 下 拉 框 展开 按钮 的 图 标 ， 第 一 次 点 击 无 任何 效果 ， 必 须 再 次 点 击 ， 
下 拉 框 才能 展开 。 


4) 当 用 手指 点 击 最 右 侧 的 下 拉 图 标 时 (图 8-2 中 的 位 置 4) ， 并 不 容易 点 中 。 我 们 可 以 看 到 事件 响应 的 区 域 过 小 ， 应 该 改 为 相应 区 域 可 以 覆盖 到 下 拉 图 标 右 侧 的 空白 区 域 ， 图 标 左 侧 的 几 
个 像素 点 的 区 域 ， 以 及 图 标 上 下 的 空白 区 域 。 这 样 用 户 在 小 屏幕 上 使 用 该 功能 会 方便 一 些 。 











5) 用 户 选中 两 个 文本 较 短 的 选项 ， 它 们 会 显示 在 同一 行 ， 这 时 想 通 过 点 击 第 一 个 选项 左 侧 的 删除 按钮 删除 第 一 个 时 ， 却 将 处 在 同一 行 中 的 两 个 选项 一 并 删除 了 。 

















6) 选中 多 个 选项 后 输入 框 会 变 成 多 行 ， 这 时 点 击 最 右 侧 的 删除 按钮 ， 即 图 8-2 中 位 置 1 处 “x” 状 图 标 ， 可 以 看 到 点 击 后 的 区 域 变化 过 大 ， 横 跨 了 多 个 行 ， 而 且 点 击 区 域 没 有 和 按钮 区 域 
保持 一 致 ， 点 击 区 域 偏 右 了 5 个 像素 。 


7) 选中 一 些 选项 后 ， 点 击 页 面 中 的 查询 按钮 ， 看 到 的 现象 是 这 个 多 选 框 先 被 清空 ， 之 后 才 会 跳 转 到 查询 结果 页 面 。 





这 是 一 个 比较 奇怪 的 现象 ， 点 击 查询 按钮 时 ， 页 面 上 只 有 多 选 框 被 清空 ， 其 他 输入 域 的 值 并 没有 被 清空 。 较 好 的 用 户 体验 是 点 击 按钮 后 ， 多 选 框 不 被 清空 。 





其 中 一 个 可 选项 的 文本 需要 修改 ， 多 了 一 个 无 用 的 “warehouse”。 





8) 选择 多 个 选项 ， 并 把 屏幕 旋转 到 横 屏 模式 ， 可 以 看 到 右 侧 大 的 关闭 按钮 和 选项 文本 重 赫 了 。 


9) 选择 一 些 选项 后 ， 再 将 其 删除 ， 之 后 点 击 查询 ， 发 现 那些 选项 并 没有 被 删除 ， 查 询 结果 页 面 仍然 使 用 这 些 选项 进行 过 滤 。 





测试 过 程 中 的 数据 用 哪些 ? 
1) 选中 1 个 ，2 个 .… 以 及 全 部 选项 。 


2) 选中 1 个 ，2 个 选项 中 有 特殊 符号 的 ， 例 如 “/ 和 空格 ”。 我 们 假设 一 个 选项 的 文本 为 “ 联 排 /别墅 花园 ”， 在 后 台 处 理解 析 这 个 字符 串 时 ， 有 可 能 因为 特殊 字符 而 解析 出 错 ， 这 种 出 错 
几率 比较 小 ， 但 是 我 们 可 以 快速 验证 一 下 。 








3) 回归 测试 时 ， 我 们 依据 已 有 模块 的 功能 与 这 次 新 开发 代码 的 关联 性 ， 有 选择 地 进行 回归 测试 ， 可 以 参照 以 下 步骤 。 





@ 选 择 4 个 不 同房 产 频 道 联合 查询 。 





@ 选 择 一 个 和 多 个 地 域名 称 ， 结 合 其 他 所 有 可 改变 的 输入 域 进行 联合 查询 。 因 为 测试 数据 使 用 了 产品 环境 的 备份 数据 库 ， 所 以 可 以 对 比 测试 环境 和 产品 环境 的 查询 结果 ， 分 别 去 对 比 第 一 
， 以 及 翻 页 后 的 数据 是 否 完全 一 致 。 


| 





@ 查 看 4 种 不 同类 型 的 房产 信息 在 查询 结果 中 都 正常 显示 ， 以 及 特殊 的 “其 他 关联 查询 结果 ”是 否 也 保持 数据 一 致 。 
4) 删除 已 选项 。 


@ 分 别 测试 点 击 每 个 可 选项 上 的 小 关闭 按钮 ，0 个 ，1 个 ， 多 个 ， 全 部 ， 是 否 都 能 正常 删除 。 


@ 测 试点 击 右 侧 大 的 关闭 按钮 ，0 个 ，1 个 ， 多 个 ， 全 部 ， 是 否 都 能 正常 删除 。 
5) 选择 多 个 可 选项 ， 查 看 滚动 条 效果 以 及 滚动 后 是 否 能 正常 选择 。 
6) 如 果 没 有 选择 可 选项 ， 输 入 框 应 该 显示 “Any property type”， 如 果 选 中 一 项 ， 应 该 删除 该 文本 。 如 果 删 除 所 有 已 选项 ， 这 个 “Any property type” 文 本 应 该 重新 出 现 。 


这 个 多 选 框 实际 上 是 开发 做 的 第 2 个 版 本 了 ， 约 两 个 月 前 做 过 一 个 版 本 ， 使 用 了 公司 内 部 第 三 方 库 。 当 时 测试 时 ， 小 蔡 主 要 担心 不 同 浏览 器 的 兼容 性 。 那 个 版 本 有 弹出 框 ， 有 JavaScript 效 
果 ， 所 以 在 各 种 手机 (例如 Android 4.42，Samsung Galaxy 4) 上 都 有 不 同 的 问题 出 现 。 





以 上 Bug 修 复 完 后 ， 就 一 切 正常 了 吗 ? 我 们 来 看 看 小 蔡 的 日 记 。 
2016 年 3 月 ”星期 三 测试 多 选 杠 
今天 下 午 终于 对 多 选 框 测试 完毕 ， 可 后 来 又 发 现 了 一 些 问 题 ， 哎 ! 不 得 不 说 …… 
1) 研发 重新 实现 了 每 个 item 的 关闭 按钮 ， 从 左 侧 移 到 右 侧 ， 用 户 在 点 击 每 个 可 选项 的 小 关闭 按钮 “X”， 有 时 难以 点 中 ， 原 因 是 响应 事件 的 区 域 偏 按钮 左边 5 个 像素 。 
2) 每 个 item 周 园 ， 多 了 一 圈 浅 蓝 色 的 背景 光圈 ， 这 点 和 系统 其 他 地 方 的 实现 不 一 致 ， 需 要 修改 。 


3) 这 个 页 面 有 多 个 输入 框 ， 都 输入 信息 后 ， 点 击 查询 按钮 ， 然 后 点 击 浏览 器 的 后 退 按钮 ， 发 现 其 他 的 输入 信息 都 被 清空 了 ， 只 剩 下 ptoperty type 的 信息 还 孤零零 地 留 在 那里 。 这 属于 处 理 
不 一 致 的 问题 。 


以 后 测试 时 需要 注意 : 
1) 界面 上 每 个 功能 点 都 要 测 到 ， 不 能 假设 它 是 运行 正常 的 。 
2) 要 在 所 有 项 目 需要 支持 的 浏览 器 上 进行 测试 ， 往 往 老 版 本 浏览 器 对 JavaScript 和 CSS 支 持 的 不 够 好 。 


3) 在 实际 环境 中 ， 用 手指 点 击 按钮 ， 好 不 好 用 ， 超 级 明了 。 


8.2 ”移动 网 页 的 左右 旋转 不 一 致 








移动 端 网 页 的 展示 不 仅仅 是 把 桌面 端 网 页 内 容 显 示 到 不 同 的 移动 设备 屏幕 上 ， 还 包括 了 对 移动 设备 上 一 些 特殊 特性 的 支持 ， 例 如 手势 操作 、 与 摄像 头等 设备 的 交互 。 





小 蔡 在 测试 移动 网 页 时 就 发 现 了 一 个 由 于 对 移动 设备 特性 支持 不 足够 导致 的 问题 :用户 在 使 用 移动 设备 查看 信息 的 时 候 ， 尤 其 是 图 表 这 种 蕴含 很 多 细节 的 信息 时 ， 很 可 能 会 尝试 放大 或 者 
旋转 屏幕 ， 使 之 显示 范围 更 广 ( 见 图 8-3) ; 抑或 是 对 于 查看 图 片 和 视频 这 些 资源 ， 也 会 采用 旋转 屏幕 的 方式 使 得 自己 的 观赏 体验 更 佳 。 




















Million USD 





图 8-3 ”查看 图 表 时 旋转 屏幕 ， 显 示 更 多 





小 蔡 测 试 的 产品 也 具备 这 样 的 功能 : 为 了 展示 商品 的 图 片 以 及 视频 信息 ， 在 商品 详情 页 面 上 需要 支持 用 户 旋转 屏幕 ; 此 外 对 于 商品 销售 和 价格 曲线 的 统计 页 面 ， 也 需要 支持 这 一 功能 。 如 

















果 用 户 旋转 了 屏幕 ， 就 需要 显示 文字 之 外 的 图 片 、 视 频 以 及 图 表 信 息 的 详细 内 容 ， 而 且 为 了 让 用 户 体验 更 佳 ， 显 示 样式 也 会 有 不 同 ， 而 不 是 简单 地 适 配 屏幕 ( 见 图 8-4) 。 
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图 8-4 观赏 视频 时 ， 用 户 倾向 于 旋转 屏幕 


小 获 发 现 开发 人 员 在 实现 这 一 功能 时 ， 并 没有 考虑 移动 设备 旋转 的 方向 可 能 是 多 样 的 ， 既 有 可 能 左旋 ， 也 有 可 能 右 旋 ， 最 极端 的 情况 下 用 户 还 可 能 上 下 颠倒 使 用 ( 见 





开发 人 员 对 移动 页 面 只 做 了 右 旋 的 适 配 ， 用 户 能 看 到 占据 全 屏 的 图 片 ， 而 对 于 左旋 ， 开 发 人 员 没 有 做 任何 的 处 理 ， 旋 转 后 页 面 被 放大 了 ， 页 面 显示 样式 也 错乱 了 ( 见 

















图 8-5 移动 设备 旋转 屏幕 的 各 种 可 能 性 























8-5) 。 


8-6) 。 
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图 8-6 左旋 页 面 显示 样式 出 错 





除 此 之 外 ， 小 莹 还 发 现 一 个 问题 : 当 用 户 左旋 或 者 右 旋 后 ， 再 次 旋转 回来 ， 页 面 还 是 显示 旋转 后 的 显示 效果 ， 并 没有 切换 回 初始 的 纵向 显示 效果 。 显 然 开 发 人 员 也 没有 对 此 进行 处 理 。 








小 莹 把 发 现 的 这 些 问 题 上 报 ， 同 时 也 通过 老 牛 通知 其 他 的 测试 人 员 ， 开 发 人 员 很 可 能 不 了 解 移 动 网 页 开发 时 对 旋转 屏幕 这 种 场景 的 处 理 ， 所 以 需要 测试 人 员 不 仅 在 测试 中 注意 这 些 问题 ， 


还 需要 和 开发 人 员 沟 通 以 增强 这 方面 的 意识 。 





人 RniRa 和 web 事件 

JavaScript 有 很 多 用 户 交互 相关 事件 ， 但 在 移动 开发 上 有 一 些 特殊 的 事件 。 

(1) 屏幕 旋转 事件 
orientationchange: 这 个 事件 是 在 设备 发 生 旋转 的 时 候 发 生 的 事件 。 

(2) 手势 事件 

"Touchstart; 触摸 开始 的 时 候 触发 。 

“ Touchmove: 手指 在 屏幕 上 滑动 的 时 候 触 发 。 

“ Touchend: 触摸 结束 的 时 候 触 发 。 

Touchcancel: 系统 停止 跟踪 触摸 时 会 触发 。 当 一 些 更 高 级 别 的 事件 发 生 的 时 候 (如 电话 接 入 或 者 弹出 信息 ) 会 取消 当前 的 touch 操 作 ， 即 触发 ontouchcancel。 
(3) 触摸 事件 

gesturestart; 当 一 个 手指 已 经 按 在 屏幕 上 ， 而 另 一 个 手指 又 触摸 在 屏幕 时 触发 。 
“ gesturechange: 当 触 摸 屏 幕 的 任何 一 个 手指 的 位 置 发 生 交 化 时 触发 。 

“ gestureend; 当 任 何 一 个 手指 从 屏幕 上 面 移 开 时 触发 。 

(4) scroll 事 件 


scroll 事 件 在 PC 上 的 触发 时 机 和 手机 上 的 触发 时 机 不 同 ，scroll 事 件 在 手机 上 ， 只 有 在 滚动 停止 的 时 候 才 会 发 生 ， 因 此 这 个 事件 在 移动 端 用 得 比较 少 ， 因 为 触发 的 时 机 已 经 晚 了 。 





兮 6 展 #mmRG@ 响应 式 设计 和 自 适应 设计 


响应 式 设计 (responsive design) 是 指 建立 一 个 网 页 ， 通 过 CSS Media Queries、Content-Based Breakpoint (基于 内 容 的 断 点 ) 等 技术 来 改变 网 页 的 大 小 以 适应 不 同 分 辨 率 的 屏幕 。 


自 适应 设计 (adaptive design) 是 指 为 不 同类 别 的 设备 建立 不 同 的 网 页 ， 检 测 到 设备 分 辩 率 大 小 后 调用 相应 的 网 页 。 目 前 大 部 分 自 适应 设计 网 页 主要 针对 320、480、760、960、1200 
这 几 种 分 辩 率 进行 设计 和 开发 。 


、1600 


响应 式 设计 中 网 页 和 屏幕 分 辨 率 的 关系 是 一 对 多 的 ， 一 套 网 页 适应 多 个 设备 。 而 适应 设计 中 网 页 和 屏幕 分 辨 率 的 关系 则 是 一 一 对 应 。 


因此 响应 式 设计 相对 来 说 灵活 性 更 高 ， 但 是 相应 地 每 次 的 载 入 内 容 会 比较 多 ， 而 自 适 应 设计 只 针对 某 一 类 或 某 几 类 分 辨 率 设计 ， 则 可 以 减少 载 入 的 等 待 时 间 ， 提 高 网 页 的 响应 速度 。 


8.3 ”移动 设备 碎片 化 使 移动 端 网 页 测试 更 加 困难 





最 近 用 户 经 常 反 馈 移 动 端 网 页 的 线 上 问题 ， 产 品 经 理 要 求 小 蔡 进 行 调查 。 小 蔡 感 觉 很 郁闷 : 一 方面 因为 自己 漏 测 了 这 些 问题 ， 对 用 户 使 用 产品 造成 了 影响 ; 另 一 方面 开发 团队 其 他 人 都 看 
到 了 这 些 问题 ， 会 渐渐 不 信任 她 。 





老 牛 观察 到 小 蔡 的 这 些 情绪 变化 ， 就 主动 找 她 了 解 情 况 。 小 蔡 解 释 大 部 分 用 户 发 现 的 问题 是 用 户 使 用 了 一 些 不 在 测试 范围 内 的 设备 造成 的 。 虽 然 发 现 一 个 设备 上 出 现 的 问题 比较 多 ， 就 会 
申请 对 应 的 设备 来 测试 ， 但 还 是 持续 发 现 一 些 新 设备 上 存在 Bug， 面 对 这 样 的 情况 ， 她 不 知道 怎样 才能 改变 。 





老 牛 告诉 她 ， 问 题 的 发 生 其 实 和 移动 设备 碎片 化 的 问题 相关 ， 现 在 设备 的 种 类 、 屏 幕 尺寸 、 显 示 像 素 和 密度 ， 甚 至 包括 搭配 的 浏览 器 都 会 对 移动 端 网 页 的 展示 产生 影响 ( 见 图 8-7) 。 
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图 8-7 移动 设备 碎片 化 





对 于 碎片 化 的 问题 ， 老 牛 给 她 提出 了 一 个 建议 : 可 以 考虑 查看 用 户 使 用 最 广 的 设备 都 是 哪些 ， 根 据 这 些 信息 来 制定 测试 需要 履 盖 的 设备 列表 和 测试 优先 级 ， 这 样 会 在 很 大 程度 上 避免 漏 测 
的 情况 。 而 且 ， 之 前 业务 方 让 开发 人 员 在 每 个 页 面 上 都 添加 了 Omniture 和 Google Analytics 的 追踪 代码 ， 利 用 这 些 代码 不 仅 能 看 出 用 户 的 访问 量 和 行为 习惯 ， 也 能 获取 到 用 户 使 用 设备 的 信 
息 。 


小 蔡 听 取 老 牛 的 建议 ， 从 统计 数据 报表 中 得 到 了 使 用 广泛 的 设备 列表 ， 而 且 上 报 给 产品 经 理 ， 要 求 按照 这 些 设备 列表 来 进行 兼容 性 测试 ， 产 品 经 理 给 予 了 充分 的 支持 。 


不 过 ， 一 段 时 间 之 后 ， 小 莹 发 现 仅仅 这 么 做 是 不 够 的 ， 她 还 需要 定期 更 新 这 些 设备 列表 ， 保 证 测试 的 设备 会 随 着 用 户 使 用 情况 及 时 得 到 调整 。 另 外 ， 对 于 那些 使 用 人 数 极 少 的 设备 ， 即 使 
出 现 一 些 Bug， 也 不 需要 关注 或 者 修复 ， 例 如 还 在 使 用 3 寸 屏 幕 、Android 2.3 版 本 的 设备 ， 很 可 能 在 花 了 不 少 精力 修复 问题 之 后 ， 这 部 分 用 户 都 不 使 用 对 应 的 设备 了 。 


此 外 小 莹 还 发 现 ， 对 于 用 户 使 用 设备 类 型 的 趋势 也 要 关注 ， 例 如 用 户 之 前 倾向 于 使 用 手机 版 Opera， 但 随 着 手机 版 Chrome 浏 览 器 功能 的 不 断 增 强 ， 使 用 Chrome 浏 览 器 的 用 户 持续 在 增 
加 ， 虽 然 还 没有 到 设 定 Chrome 浏 览 器 为 测试 环境 的 时 候 ， 但 是 也 需要 提前 进行 关注 ， 有 时 间 也 需要 进行 兼容 性 测试 。 


最 后 ， 老 牛 告诉 小 蔡 另 一 个 移动 测试 的 原则 ， 就 是 在 进行 测试 的 时 候 不 使 用 所 有 的 设备 执行 所 有 的 测试 用 例 ， 而 是 针对 某 一 特定 型 号 ， 通 常 是 主流 的 操作 系统 版 本 和 设备 〈 例 如 原生 
Android 7.0 的 Nexus 或 者 Pixel 设 备 ， 运 行 iOS 10.2 的 iPhone 7) 执行 功能 测试 ， 并 且 只 有 在 之 后 进行 兼容 性 测试 时 ， 才 ER 而 在 进行 兼容 性 测试 时 需要 了 解 不 同 设备 
之 间 的 区 别 : 例如 iOSs 设 备 之 间 硬 件 和 支持 特性 的 差异 ， 以 及 Android 不 同 厂商 对 于 ROM 定 制造 成 的 差异 ， 甚 至 是 这 些 ROM 默 认 字体 的 不 同 会 造成 文字 显示 的 差异 等 。 使 用 这 个 原则 带 来 的 
好 处 是 分 阶段 解决 不 同 优 先 级 的 问题 ， 之 后 再 通过 兼容 性 测试 发 现 设备 适 配 的 问题 ， 使 得 测试 更 专注 和 高 效 。 





全 入 0 移动 设备 碎片 化 所 导致 的 常见 问题 


什么 是 移动 设备 碎片 化 呢 ? 首先 ， 移 动 设备 的 操作 系统 平台 及 其 版 本 有 多 种 ; 其 次 ， 移 动 设备 的 屏幕 尺寸 和 分 辨 率 大 小 也 各 不 相同 ; 再 次 ， 很 多 安 卓 设备 厂商 也 会 对 设备 的 ROM 进 行 定 
制 ， 造 成 默认 的 功能 ， 甚 至 是 字体 等 设置 并 不 一 致 ; 最 后 ， 设 备 的 硬件 性 能 〈 例 如 CPU 和 内 存 等 ) 也 不 一 样 。 这 4 个 因素 结合 在 一 起 ， 使 得 移动 开发 和 测试 需要 支持 的 设备 种 类 和 复杂 度 大 大 
增加 了 ， 从 而 被 称 作 移动 设备 碎片 化 。 


那么 移动 设备 碎片 化 给 移动 开发 和 测试 带 来 的 挑战 在 哪里 呢 ? 
首先 ， 显 示 问 题 。 页 面 元 素 是 否 显示 正常 ， 元 素 是 否 有 重 登 ， 元 素 的 尺 士 和 位 置 是 否 有 偏差 ， 元 素 是 否 可 以 操作 等 。 
其 次 ， 用 户 交 互 方式 千差万别 。 如 果 移 动 开 发 中 应 用 了 非 标 准 手势 ， 就 需要 确保 在 所 有 支持 的 设备 上 这 些 手势 都 能 触发 同一 种 功能 ， 而 不 会 导致 和 操作 系统 甚至 ROM 的 手势 冲突 。 


最 后 ， 验 证 移动 产品 的 功能 及 非 功 能 需求 的 成 本 大 幅 增 加 。 


所 以 一 般 来 说 对 移动 产品 进行 测试 可 以 有 以 下 的 思路 。 
首先 ， 确 定 高 优先 级 的 测试 设备 ， 通 常 不 超过 用 户 使 用 最 多 的 10 个 设备 。 
其 次 ， 功 能 测试 在 某 个 标准 设备 上 进行 ， 例 如 Google 的 Nexus 和 Pixel 设 备 ; 之 后 在 支持 的 设备 上 测试 界面 及 可 用 性 。 


最 后 ， 重 复 利用 自动 化 测试 和 云 测试 平台 提高 测试 效率 。 


8.4 测试 关键 字 输入 框 





通常 情况 下 ，Web 页 面 上 会 有 很 多 页 面 组 件 ， 如 文本 输入 框 、 单 选 框 、 多 选 框 等 ， 其 中 文本 输入 框 通常 允许 用 户 输入 各 种 特殊 字符 ， 而 这 些 特殊 字符 常常 会 造成 页 面 朋 省 或 其 他 错误 出 
现 ， 因 此 在 测试 文本 输入 框 允许 的 各 种 输入 时 ， 需 要 特别 仔细 ， 这 相对 来 说 工作 量 是 非常 大 的 。 





这 是 一 个 关于 关键 字 输 入 框 的 测试 实例 。 








最 近 ， 项 目 组 开发 了 一 款 基于 手机 浏览 器 的 网 站 ， 在 设置 过 滤 条 件 的 页 面 上 有 一 个 文本 输入 框 ， 允 许 用 户 输 入 关键 字 进行 全 文 搜索 ， 例 如 输入 “CBD 周 边 的 底 商 ”， 查 询 网 站 内 所 有 包含 
该 关键 字 的 记录 。 那 么 ， 针 对 这 样 一 个 输入 框 ， 测 试 该 如 何 进 行 呢 ? 
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困 8-8 文本 输入 框 
关键 字 的 输入 框 如 图 8-8 所 示 。 

由 于 输入 框 允许 用 户 输入 任何 字符 ， 因 此 测试 关注 点 比较 多 ， 对 于 这 次 测试 ， 小 蔡 先 理 了 理 甩 路: 
四 验证 可 获得 结果 的 查询 以 及 翻 页 一 回 测 试 不 同 搜 索 频道 

一 异常 处 理 流程 一 四 测试 特定 文本 查询 一 加 特殊 符号 处 理 

一 加 测试 关键 字 联 合 查 询 一 测试 多 语言 支持 

一 加 验证 过 长 字符 事 一 加 多 个 输入 域 关联 查询 

一 加 在 不 同 手机 浏览 器 上 查看 界面 显示 (四 测试 字段 值 回填 功能 

一 四 出 斌 联合 查询 生成 URL 的 情况 一 (3) 安全 问题 

再 来 细 化 下 上 面 的 思路 。 


1) 验证 可 获得 结果 的 查询 以 及 翻 页 : 使 用 普通 关键 字 ， 查 看 搜索 结果 是 否 符合 预期 ， 查 询 结果 是 否 包 含 该 关键 字 。 








值得 庆幸 的 是 ， 在 这 个 手机 版 网 站 上 线 前 ， 一 个 有 同样 关键 字 搜 索 功 能 的 电脑 版 网 站 已 经 运行 了 3 年 ， 因 此 ， 这 次 测试 可 以 化 繁 为 简 : 在 电脑 版 和 手机 版 同时 用 一 个 可 以 查 出 数据 的 普通 
关键 字 进行 测试 ， 然 后 对 比 ， 看 二 者 结果 是 否 一 致 ， 包 括 查询 结果 的 翻 页 显示 是 否 正常 。 











Oe 找 出 能 在 电脑 版 上 查询 出 结果 的 3 个 关键 字 ， 而 且 查 询 结 果 超过 一 页 显示 ， 这 样 能 够 同时 测试 翻 页 后 的 结果 是 否 准确 ,例如 “a”，“vic” 等 。 


2) 测试 不 同 搜索 频道 : 手机 版 网 站 有 4 个 不 同 搜索 频道 ， 开 发 在 后 台 处 理 不 同 频道 时 ， 使 用 了 不 同 代码 去 实现 ， 这 里 就 需要 对 不 同 频道 分 别 做 查询 测试 了 。 





3) 检查 系统 定制 的 “404 Not Found” 页 面 是 否 能 正确 显示 ， 需 要 使 用 一 个 无 法 查 到 结果 的 关键 字 。 这 个 点 是 查看 对 异常 处 理 的 流程 是 否 正 确 。 


全 提示 一 个 能 显示 出 404 的 关键 字 ， “error_found_aaa_bbb”。 





4) 测试 特定 文本 查询 : 如 图 8-8 所 示 的 文本 框 ， 可 以 输入 各 种 文本 ， 开 发 人 员 在 自 测 时 一 般 都 会 测 到 。 测 试 人 员 可 以 重点 检测 一 下 能 否 处 理 好 一 些 数字 。 








全 二 示 这 些 特殊 字 如 : “0，00，000000，-1，-11111，-a” 等 。 





5) 特殊 符号 处 理 : 一 般 文本 输入 框 对 特殊 字符 处 理 得 不 够 好 ， 如 何 区 分 特殊 符号 ”区 分 特殊 符号 的 基本 原则 如 下 。 
“ 特殊 字符 : 在 程序 代码 中 被 作为 特殊 符号 、 特 殊 用 法 去 使 用 ， 例 如 “! @#8$%”; 
“ 界定 文本 范围 : 在 数据 库 中 被 用 来 作为 通配符 ， 以 及 单 引 号 和 双 引 号 等 。 


ie 测试 人 员 可 以 快速 使 用 “! @#$%^&* () _+{}|: ”<>? ”这 样 的 文本 ， 输 入 后 点 击 查询 ， 看 是 否 会 出 现 异 常 。 





6) 测试 关键 字 联 合 查询 : 类 似 在 Google 里 使 用 空格 分 开 多 个 关键 字 进 行 联合 查询 一 样 ， 图 8-8 中 也 可 以 使 用 空格 、 逗 号 或 者 分 号 等 符号 隔 开 多 个 关键 字 进 行 联合 查询 ， 这 又 是 一 个 测试 














局 。 


Oe 示 测试 过 程 中 ， 用 多 个 关键 字 做 联合 查询 ， 发 现 系 统 除 了 支持 用 空格 、 分 号 做 分 隔 符 ， 还 自动 把 一 些 特殊 符号 作为 分 隔 符 (例如 “! @#$%^&*+ () _+{}: ”<>? ”等 ) 。 需 要 
查看 使 用 这 些 特殊 符号 做 分 隔 符 后 ， 查 询 结 果 是 否 正常 。 











7) 测试 多 语言 支持 : 该 网 站 是 英文 版 ， 但 不 排除 有 人 使 用 其 他 语种 文字 进行 查询 ， 这 里 需要 测试 输入 其 他 语种 文字 的 处 理 情况 ， 不 应 该 抛 出 500 ERROR 页 面 。 
全 提示 除 美文 以 外 的 字符 ， 使 用 其 他 字符 集 的 文本 ， 例 如 “全 | 9c” 和 “中 文 ”。 


8) 验证 过 长 字符 串 : 验证 输入 过 长 的 字符 串 是 否 处 理 正确 。 








9) 多 个 输入 域 关联 查询 : 除了 关键 字 输 入 框 外 ， 该 网 页 还 有 其 他 输入 域 ， 需 要 把 它们 都 设置 值 后 进行 关联 查询 ， 看 查询 结果 是 否 准确 。 























10) 在 不 同 手机 浏览 器 上 查看 界面 显示 : 这 主要 在 项 目 需要 支持 的 各 种 真实 手机 上 测试 ， 可 以 有 效 避 免 模 拟 器 漏 掉 Bug， 横 竖 屏 都 进行 测试 ， 查 看 是 否 出 现 界面 变形 、 难 以 点 击 与 输入 等 
问题 ， 以 及 输入 框 内 的 背景 文字 等 是 否 能 正常 显示 等 。 











11) 字段 值 回 填 功 能 : 用 户 输入 数据 后 ， 如 果 重 新 修改 过 滤 条 件 ， 系 统 就 会 把 用 户 最 初 填写 过 的 数据 回填 到 对 应 的 输入 框 中 ， 以 便 用 户 修改 。 














ie 这 里 主要 注意 英文 大 小 写 回填 是 否 正 常 。 





12) 测试 联合 查询 生成 URL 的 情况 : 在 已 上 线 运 行 的 电脑 版 网 站 中 搜索 关键 字 ， 并 查询 ， 页 面 会 跳 转 到 结果 页 面 ，URL 也 会 做 对 应 改变 。 开 发 已 把 电脑 版 网 站 上 对 应 的 URL 拷 贝 到 手机 网 
站 上 打开 ， 需 要 查询 结果 相同 。 测 试 过 程 就 不 能 只 简单 针对 一 个 关键 字 ， 而 是 需要 考虑 这 个 关键 字 输 入 框 以 及 页 面 上 其 他 输入 域 联合 查询 后 生成 的 URL 的 情况 。 




















13) 安全 问题 : 考虑 会 不 会 出 现 XSS 或 者 Sql Injection 的 安全 问题 。 














是 否 需 要 做 安全 测试 ， 需 要 和 开发 沟通 。 小 葵 了 解 到 ， 手 机 版 网 站 的 后 台 系 统 没有 使 用 关系 型 数据 库 ， 因 此 不 用 做 Sql Injection 注 入 扫描 。 小 蔡 对 Xss ( 跨 站 脚本 攻击 ) 使 
用 “OWASP_Xenotix_XSS_Exploit_Framework” 工 具 进 行 扫描 没有 发 现 问 题 。 虽 然 使 用 扫描 工具 不 及 人 工 安 全 检查 深入 ， 但 可 以 快速 提供 安全 方面 的 反馈 给 开发 组 。 另 外 ， 公 司 在 项 目 
后 期 通常 都 会 让 第 三 方 专业 安全 公司 对 产品 进行 更 全 面 的 安全 检查 。 因 此 ， 在 可 以 简单 的 时 候 ， 我 们 可 以 简单 一 些 。 


























经 过 一 番 思 考 和 测试 规划 后 ， 小 蔡 咕 了 一 口气 : 好 吧 ， 和 总算 “ 磨 刀 霍 霍 向 猪 羊 ” 了 ， 正 式 开始 测试 ! 这 个 看 似 简单 、 实 为 繁琐 的 测试 过 程 究竟 能 发 现 多 少 Bug 呢 ?拭目以待 ! 











1) 查询 “%” 或 者 “*” ， 系 统 出 现 500 ERROR 的 错误 页 面 。 实 际 上 小 莹 测试 的 特殊 字符 包括 “! @ 霸 %^&* () _+f: ”<>? ”等 ， 其 他 符号 都 处 理 正常 ， 只 有 这 两 个 符号 显示 错误 
页 面 。 























2) 输入 “0000000” 或 者 “-11111”， 可 以 看 到 电脑 版 和 手机 版 的 查询 结果 不 同 。 经 过 和 开发 讨论 ， 发 现 这 是 电脑 版 网 站 的 Bug。 原 因 是 ， 电 脑 版 在 查询 “0000000” 时 ， 会 把 其 作为 
数字 处 理 ， 而 国外 对 数字 的 处 理 是 每 隔 三 位 加 一 个 逗号 ， 因 此 “0000000” 变 成 了 “0，000，000” ， 而 在 系统 中 又 默认 逗号 是 进行 多 关键 字 联 合 查询 的 一 种 分 隔 符 ， 所 以 系统 后 台 会 
把 “0，000，000” 分 割 成 三 段 “0”、“000”、“000” 后 进行 联合 查询 ， 因 此 查询 结果 不 是 用 户 期 望 的 。 这 是 电脑 版 网 站 遗留 的 一 个 Bug。 
































3) 用 逗号 做 分 割 符 进行 多 关键 字 联 合 查询 ， 例 如 使 用 “a，b，c”， 在 电脑 版 网 站 和 手机 版 上 查询 结果 不 同 。 实 际 上 还 用 了 其 他 分 隔 符 做 过 测试 , 例如 “a b 
Cc” ，“a@b@c”，“a#b#c” 等 ， 最 终 发 现 只 有 两 种 分 隔 符 有 问题 。 





4) 用 “<” 做 分 割 符 做 多 关键 字 查 询 时 , 例如 “a<b<c”， 用 户 将 看 到 500 ERROR 页 面 。 值 得 注意 的 是 单独 查询 “<” 却 不 会 出 现 错误 。 


























5) 手机 版 网 站 可 以 自 适应 显示 宽度 ， 能 根据 屏幕 大 小 去 调整 页 面 的 布局 。 在 iPhone 6 Plus 手 机 的 横 屏 模式 上 ， 由 于 屏幕 宽度 比较 大 ， 能 看 到 UI 界面 被 破坏 了 ， 关 键 字 这 个 输入 域 被 放 到 
新 的 一 行 ， 合 理 的 情况 是 应 该 和 另外 一 个 输入 域 在 同一 行 中 显示 。 



































6) 没有 对 大 字符 串 做 处 理 。 当 查询 超过 2000 个 字符 时 会 显示 500 ERROR 页 面 。 系 统 应 该 对 这 类 情况 做 处 理 ， 不 能 给 最 终 用 户 出 现 500 ERROR 页 面 。 











7) 在 电脑 版 网 站 上 查询 一 个 关键 字 ， 例 如 “CBD 周 边 的 底 商 ”， 把 生成 的 过 滤 部 分 的 URL 追 加 到 手机 版 网 站 上 ， 手 机 版 网 站 能 正确 显示 查询 结果 。 但 如 果 在 电脑 版 上 查询 的 是 多 个 关键 
， 例 如 “CBD 周 边 的 底 商 上 下 水 暖气 ”， 并 和 页 面 上 的 其 他 字段 做 联合 查询 ， 发 现 查询 结果 不 一 致 。 在 电脑 版 上 查 出 超过 4 页 数据 ， 在 手机 版 上 只 查 到 2 页 数据 。 

















娄 














测试 工作 终于 完成 了 ， 但 测试 思路 却 还 在 路 上 。 在 整个 项 目 过 程 中 ， 有 没有 什么 方式 可 以 让 测试 变 得 更 简单 呢 ? 各 部 门 之 间 需 要 怎样 协作 ， 才 能 更 快 更 准 地 将 项 目 完美 呈现 呢 ? 小 蔡 还 需 
要 更 多 的 思考 。 








8.5 ”移动 网 页 上 过 长 的 下 拉 菜 


最 近 小 蔡 收 到 了 一 些 用 户 对 于 移动 网 页 的 反馈 :有 个 下 拉 菜 单 的 内 容 太 多 了 ， 用 户 每 次 都 要 很 费劲 才能 选取 到 想 要 的 选项 ( 见 图 8-9) 。 


Salact Metion Houss 到 


Ghristie s New Yor w 
Sotheby s New York 
Phillips New York 
Bonhams New York 
Chriatie's Landen 
cotheby's London 
Philllpgs Loridon 
Bonhams London 
Lhristle s Pars 
Sotheby's Pare 


Bonhams Parie 





小 蔡 听 到 这 个 消息 ， 第 一 反应 是 移动 网 页 的 下 拉 菜 单 怎么 会 设计 很 多 选项 呢 ? 之 前 测试 的 时 候 ， 由 于 业务 方 希望 可 以 不 通过 代码 改变 就 能 修改 选项 内 容 ， 所 以 选项 都 是 通过 内 容 管 理 系统 


Chiste s oharghal 
Saotheby's Beatjing 


Chistigs Ss zureh 





thaby's zuneh 


Chriatie's Goereva 


oteby's Geneva 


图 8-9 下 拉 菜 单 有 太 多 选项 


CMS 来 控制 的 。 小 蔡 在 测试 的 时 候 也 只 是 在 CMS 里 创建 了 几 条 选项 数据 ， 没 有 预料 到 在 真实 产品 环境 中 会 出 现 这 种 选项 过 多 的 场景 。 


根据 业务 方 的 解释 ， 他 们 最 开始 设计 这 些 选项 时 ， 并 没有 考 





例如 用 户 在 键盘 上 按 S， 以 S 为 首 字母 的 选项 就 会 为 用 户 呈 现 出 来 ， 

















虑 到 移动 网 页 的 呈现 和 使 用 方式 ， 而 只 是 关注 于 桌面 端 网 页 。 在 桌面 端 ， 用 户 可 以 使 有 
这 样 可 以 简化 用 户 查找 对 应 选项 的 过 程 。 不 过 移动 页 面 上 并 没有 类 似 的 功能 ， 所 以 用 户 只 能 手动 去 滚动 选项 列表 ， 一 个 一 个 

















地 查找 ; 而 且 由 于 选项 数据 过 多 ， 即 使 用 户 知道 这 些 选 项 是 按照 首 字母 排列 的 ， 找 到 一 个 首 字母 为 5 的 选项 ， 也 需要 滑动 屏幕 很 多 次 ， 会 花 不 少时 间 去 定位 。 


小 蒙 意识 到 这 个 问题 不 仅仅 和 软件 功能 相关 ， 而 且 和 软件 易 用 性 相关 。 于 是 她 找到 了 用 户 体验 设计 师 ， 想 了 解 选 项 过 多 的 问题 应 该 如 何 解决 ， 同 时 也 可 以 了 解 到 修改 后 会 对 测试 产生 的 影 





响 。 


用 户 体验 设计 师 认为 ， 这 个 问题 的 关键 是 用 户 在 下 拉 菜单 的 众多 选项 里 难以 定位 到 需要 的 选项 ， 因 此 只 要 有 办 法 缩减 用 户 可 选择 的 选项 就 可 以 了 。 但 这 并 不 是 单纯 缩减 选项 的 数量 ， 而 是 


在 保证 现 有 选项 数量 的 基础 上 ， 去 使 用 户 的 操作 更 简单 。 





为 此 他 设计 了 两 种 方案 。 





方案 1: 对 单一 的 下 拉 菜 单 进行 分 类 ， 这 样 就 能 通过 分 类 的 方式 ， 简 化 用 户 操作 和 思考 的 复杂 度 。 这 个 方案 的 缺点 是 需要 重新 设计 分 类 ， 以 及 对 相应 界面 进行 调整 。 








按键 快速 跳 转 到 相应 首 字母 的 选项 上 。 








方案 2: 保留 单一 的 下 拉 菜 单 ， 但 在 所 有 选项 前 增加 搜索 框 ， 可 以 根据 用 户 的 输入 内 容 ， 过 滤 并 显示 相关 的 选项 ( 见 图 8-10) 。 这 个 方案 的 缺点 是 用 户 打 开 下 拉 菜 单 时 ， 选 项 列表 还 会 很 
长 。 




















CEE ALUctinn Housa ™ 


Ghraties Ne Tork = 
Sotheby s New York 
Philllips New York 
Bonhams New York 
Listies Ss Lond 
Sotheby's Lomdon 
Phillips London 
Bonhams London 
Ghrastie's Parils 


Sothaby 3 Paris 


Bonhams Paris 


Christia's Shangha 
sotheby's Balling 
Ghrnste’s eurich 
-otheby s Zurich 


Lhnstp sa Genevwa 


“otheby s Geneva 





图 8-10 ”为 过 长 的 下 拉 菜 单 增加 搜索 功能 


这 两 种 方案 对 开发 和 测试 人 员 的 工作 量 都 不 算 很 大 ， 业 务 方 在 权衡 之 后 ， 认 为 第 一 种 方案 更 简洁 一 些 ， 选 取 和 实施 了 第 一 种 改进 方案 。 小 蔡 不 忘 从 测试 角度 提出 需要 同时 修改 桌面 端 Web 
界面 的 对 应 功能 ， 以 便 用 户 在 桌面 端 和 移动 端 获 得 一 致 性 的 体验 。 





中 | 


通过 这 个 问题 ， 小 华 意 识 到 使 用 真实 的 测试 数据 的 重要 性 。 真 实数 据 不 仅 能 发 现 功能 问题 ， 还 有 可 能 发 现 隐藏 的 可 用 性 问题 。 





全 展 4hRO 内 容 管理 系统 


内 容 管理 系统 (Content Management System，CMS) 通常 用 作 网 站 后 台 的 内 容 发 布 和 管理 ， 其 功能 并 不 只 限于 文本 处 理 ， 它 也 可 以 处 理 图 片 、Flash 动 画 、 声 像 流 、 图 像 甚至 电子 邮件 等 资 
源 ，CMS 广 泛 应 用 于 博客 内 容 、 新 闻 发 布 、 门 户 网 站 内 容 发 布 等 方面 。 





食 j6 展 mR@ 移动 网 页 中 的 易 用 性 


桌面 端 网 站 的 页 面 都 会 比较 复杂 ， 展 示 的 内 容 也 会 更 多 ; 相 比 之 下 ， 移 动 端 网 站 则 倾向 于 展示 内 容 更 集中 、 页 面 更 少 更 长 。 尤 其 是 对 于 触 屏 手机 来 说 ， 通 过 上 下 滚动 页 面 的 操作 方式 比 基 
于 键 鼠 的 桌面 设备 要 容易 得 多 。 不 过 这 并 不 意味 着 所 有 的 内 容 都 应 该 被 一 股 脑 地 呈现 在 一 个 页 面 中 ， 和 否则 对 用 户 来 说 ， 深 不 见 底 的 页 面 交 互 方式 也 会 挑战 用 户 的 耐心 。 


正 因为 桌面 端 和 移动 端的 用 户 交互 方式 不 同 ， 所 以 两 者 的 页 面 设计 也 需要 区 别 分 析 和 实现 ， 而 不 是 简单 地 进行 套用 。 


8.6 ”字符 集 不 同 导致 显示 乱码 














产品 在 用 户 注册 账号 中 提供 了 设置 昵称 的 功能 ， 这 一 功能 允许 用 户 使 用 便于 记忆 、 有 意义 的 名 称 去 和 商家 或 者 在 用 户 间 进 行 交流 。 设 置 的 昵称 只 要 不 同 于 已 有 了 昵称， 并 且 在 50 个 字符 的 长 
度 限制 内 就 可 以 了 ， 并 没有 其 他 的 限制 。 

















不 过 最 近 有 些 用 户 报告 说 他 们 在 使 用 昵称 上 遇 到 了 问题 。 他 们 成 功 注册 账号 并 设置 了 了 昵称， 但 当 他 们 使 用 移动 设备 登录 时 ， 却 发 现 昵 称 显示 的 是 乱码 ( 见 图 8-11) ， 在 网 页 上 查看 昵称 却 
没有 问题 。 
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图 8-11 移动 设备 上 显示 乱码 

















小 葡 接 到 用 户 的 反馈 时 ， 首 先 就 想到 这 些 用 户 的 昵称 中 是 不 是 有 什么 特殊 的 字符 。 经 调查 ， 有 些 用 户 的 昵称 确实 有 特殊 的 字符 ， 但 是 也 看 不 出 所 以 然 ; 有 不 少 用户 昵 称 并 没有 特殊 字符 ， 
却 也 有 这 样 的 问题 。 











在 小 莹 一 筹 莫 展 时 ， 她 想到 老 牛 。 老 牛 果 然 有 过 类 似 的 经 验 ， 他 告诉 小 蔡 这 通常 是 因为 字符 集 不 一 致 造成 的 ， 由 于 老 牛 并 没有 测试 过 移动 设备 ， 所 以 不 知道 移动 设备 、 桌 面 端 、Web 端 是 
否 一 样 存 在 字符 集 的 问题 。 











有 了 这 个 线索 ， 小 蔡 仔 细 了 解 了 移动 设备 上 浏览 器 所 使 用 的 字符 集 ， 一 般 来 说 默认 都 是 UTF-8; 对 于 服务 器 的 字符 编码 ， 小 蔡 和 开 发 人 员 确 认 ， 使 用 的 是 默认 的 GBK。 看 来 这 就 是 问题 的 
所 在 ， 但 是 这 个 问题 究竟 是 如 何 造成 的 呢 ? 





首先 了 解 一 下 后 台 服 务 器 处 理 的 过 程 : 当 用 户 通过 网 页 注册 账户 时 输入 昵称 ， 这 时 服务 器 把 昵称 的 字符 串 作为 GBK 编 码 的 字符 进行 存储 ， 当 用 户 使 用 移动 设备 查看 昵称 时 ， 会 从 服务 器 中 


取得 GBK 编 码 的 昵称 字符 串 ， 传 给 用 户 的 移动 设备 进行 展示 。 由 于 用 户 移动 设备 上 浏览 器 的 默认 字符 编码 是 UTF-8， 使 得 通过 GBK 编 码 的 昵称 字符 串 被 当做 UTF-8 编 码 的 字符 串 进行 处 理 ， 结 
果 就 显示 出 了 乱码 。 如 果 用 户 使 用 手机 注册 ， 由 UTF-8 编 码 的 昵称 字符 串 会 被 当做 GBK 字 符 串 进行 存储 ， 当 用 户 在 网 页 查看 时 ， 也 会 出 现 同样 的 问题 。 


























既然 移动 设备 默认 的 字符 集 和 服务 器 不 同 会 造成 乱码 问题 ， 小 蔡 引 申 思 考 了 一 下 ， 移 动 设备 上 常见 的 表情 符号 也 属于 特定 的 字符 集 ， 那 么 是 否 也 存在 不 同 设备 上 的 不 兼容 问题 呢 ? 之 所 以 
想到 这 个 ， 是 因为 小 蔡 看 到 有 不 少 用 户 喜欢 在 自己 的 昵称 里 设置 表情 符号 。 





我 们 知道 iOS 手 机 和 Android 手 机 上 的 表情 样式 差别 很 大 ， 如 果 用 户 使 用 iOS 设 备 的 表情 符号 ， 会 不 会 在 Android 手 机 上 显示 不 出 来 ? 








虽然 这 是 另外 一 个 问题 ， 但 是 小 蔡 很 有 兴趣 做 进一步 调查 ! 








经 过 小 蔡 的 调查 ， 发 现 不 仅 大 部 分 桌面 端 浏 览 器 支持 的 字符 集 都 不 支持 表情 符号 ， 不 同 平台 、 不 同 操作 系统 版 本 、 不 同 厂商 的 移动 设备 对 表情 符号 的 支持 也 不 相同 : 不 仅 显示 的 样式 有 差 
别 ， 有 些 表情 符号 甚至 显示 不 出 来 ( 见 图 8-12) 。 




















罗 罗 的 的 的 的 哈哈 哈 





图 8-12 不 同 设备 显示 表情 符号 也 不 一 样 





对 表情 符号 的 显示 是 基于 操作 系统 的 ， 同 一 个 表情 符号 在 不 同 操作 系统 上 可 能 显示 出 不 同 的 样子 。 但 表情 符号 无 法 显示 的 问题 ， 通 常 是 由 于 操作 系统 支持 的 Unicode 版 本 不 同 引 起 的 。 有 
的 操作 系统 使 用 新 版 本 的 Unicode， 有 的 操作 系统 使 用 老 版 本 的 Unicode。 新 版 本 Unicode 字 符 集中 的 表情 符号 在 老 版 本 Unicode 字 符 集中 可 能 无 法 支持 ， 因 此 一 些 表情 符 会 无 法 显示 。 





把 无 法 识别 的 表情 符号 当做 字符 处 理 ! 


小 蒙 和 开发 人 员 进 行 了 讨论 ， 认 为 有 两 个 问题 需要 处 理 。 





需要 尽 可 能 保证 移动 设备 上 字符 编码 和 服务 器 使 用 的 字符 编码 是 一 致 的 ， 避 免 显示 乱码 的 问题 。 


对 于 表情 符号 的 支持 这 个 问题 ， 由 于 Unicode 是 随 着 操作 系统 升级 的 ， 产 品 没有 办 法 进行 限制 。 为 了 避免 不 支持 的 表情 符号 产生 问题 ， 产 品 只 支持 特定 版 本 的 Unicode， 会 支持 大 部 分 的 
表情 符号 ;对 于 少数 不 支持 的 表情 符号 ， 产 品 会 把 它们 当 作 纯 文本 处 理 ， 产 品 经 理 也 同意 进行 这 样 的 修复 。 虽 然 给 用 户 自 定义 昵称 的 自由 少 了 ， 但 是 产品 更 健壮 了 。 











人 5Rmina emoji 和 Unicode 


Unicode 是 一 个 标准 ， 该 标准 立志 于 能 让 所 有 的 字符 在 全 世界 都 用 相同 的 编码 方式 进行 编码 。 
每 年 都 会 有 数量 不 等 的 emoji 图 标 被 编码 到 新 的 Unicode 规 范 里 ， 但 是 把 这 些 字 符 真正 加 入 到 Unicode 标 准 里 需要 一 段 漫长 的 过 程 。 


每 一 个 emoji 都 对 应 着 一 个 独特 的 Unicode 编 码 。 然 而 Unicode 编 码 只 是 一 种 描述 方式 ， 而 将 Unicode 编 码 〈 比 如 U+1F36E) 和 图 标 联系 在 一 起 这 样 的 工作 则 取决 于 操作 系统 设计 师 和 字体 设计 
师 。 这 就 是 不 同 的 平台 下 看 到 的 emoji 图 标 也 不 一 样 的 原因 。 


操作 系统 支持 emoji， 不 代表 它 支持 Unicode 标 准 里 的 所 有 emoji。 实 际 上 操作 系统 可 以 选择 支持 哪些 字符 、 不 支持 哪些 字符 。 


人 @iRniRe 字符 编码 





字符 编码 (character encoding) 是 把 字符 集中 的 字符 编码 为 指定 集合 中 某 一 对 象 ， 以 便 文本 在 计算 机 中 存储 和 通过 通信 网 络 进行 传递 。 常 见 的 例子 包括 将 拉丁 字母 表 编 码 成 摩 斯 电码 和 
ASCII。 其 中 ，ASCII 将 字母 、 数 字 和 其 他 符号 编号 ， 并 用 7 比特 的 二 进 制 来 表示 这 个 整数 。 通 常会 额外 使 用 一 个 扩充 的 比特 ， 以 便于 以 1 个 字 节 的 方式 存储 。 


在 计算 机 技术 发 展 的 早期 ， 如 ASCII (1963 年 ) 和 EBCDIC (1964 年 ) 这 样 的 字符 集 丈 渐 成 为 标准 。 但 这 些 字 符 集 的 局 限 很 快 就 变 得 明显 ， 于 是 人 们 开发 了 许多 方法 来 扩展 它们 。 对 于 支持 
包括 东亚 CJK 字 符 家 族 在 内 的 操作 系统 的 要 求 能 支持 更 大 量 的 字符 ， 并 且 需 要 一 种 系统 而 不 是 临时 的 方法 实现 这 些 字符 的 编码 。 


1) 中 国 大 陆 字符 集 : GB 2312、EUC、GBK (规定 文件 为 GB13000) 、GB 18030; 


2) Unicode 字 符 集 : Unicode、UTF-7、UTF-8、UTF-16、UTF-32。 


8.7” 重 现 一 个 让 手机 App 前 演 的 线 上 Bug 














这 一 天 ， 研 发 团队 的 iOS 开 发 工程 师 忽 然 找 小 蔡 ， 说 iOS App 的 在 线 日 志 监 控 平 台 上 出 现 不 少 应 用 发 生 崩 演 的 日 志 ， 他 努力 了 很 长 时 间 却 无 法 重 现 这 种 崩溃 场景 ， 原 因 不 
从 修复 了 。 所 以 来 找 她 ， 就 是 想 请 她 帮忙 ， 看 能 不 能 找到 问题 所 在 。 











位 ， 也 就 无 


NS 
也 




















于 是 小 葵 开 始 分 析 问 题 。 





从 在 线 日 志 得 知 ， 是 用 户 打 开 过 滤 条 件 页 面 并 进行 了 某 些 操作 后 ， 才 令 App 发 生 崩 溃 的 。 在 线 日 志 提 供给 小 蔡 的 信息 如 下 。 








1) 看 不 到 出 现 异常 的 代码 行 号 。 无 法 定位 错误 的 原 





[| 





2) Null Pointer 异 常 。 这 种 异常 经 常 出 现 ， 但 它 不 是 事 儿 ， 原 因 是 它 对 错误 定位 没什么 实质 性 帮助 。 














没 办 法 ， 小 蒙 找 开发 工程 师 聊 ， 从 开发 工程 师 这 儿 ， 小 蔡 又 获得 一 条 信息 。 








3) 这 个 iOS App 使 用 了 一 个 第 三 方 的 开源 框架 去 构建 用 户 使 用 的 页 面 。 

















但 又 不 能 确定 Bug 是 由 这 个 第 三 方 框架 本 身 的 缺陷 引起 的 ， 或 是 由 开发 工程 师 自己 写 的 代码 引起 的 。 








开发 工程 师 极度 郁 问 ， 尝 试 了 很 多 次 ， 始 终 不 能 重 现 Bug。 因 此 他 在 Bug 卡 中 加 了 一 段 注释 ， 说 他 已 经 更 新 了 第 三 方 框架 的 版 本 ， 希 望 这 样 做 Bug 能 够 自动 消失 了 。 此 处 是 不 是 还 要 
上 一 段 郧 语 ? 好 吧 ， 小 蔡 总 是 这 么 幽默 。 
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言 归 正 传 ， 小 蔡 决 定 先 试 试 ， 看 看 在 更 新 第 三 方 框架 的 版 本 后 ， 能 否 重 现 这 个 Bug。 她 打开 设置 过 渡 条 件 的 页 面 ， 该 页 面 和 小 蔡 见 过 的 其 他 搜索 过 滤 页 面 类 似 ， 包 含 各 种 过 滤 字 段 ， 有 输 
入 框 、 下 拉 列 表 框 、 单 选 框 和 多 选 框 等 。 




















根据 以 往 经 验 ， 小 蔡 认 为 大 部 分 Bug 不 会 在 更 新 第 三 方 开源 框架 后 自动 消失 ， 多 数 Bug 实 际 上 是 由 开发 工程 的 代码 引起 的 。 


接着 小 殖 在 设置 过 滤 条 件 的 页 面 上 操作 了 几 分 钟 ， 竟 然 重 现 了 一 两 次 应 用 程序 骨 溃 的 Bug。 实 在 是 惊喜 ! 而 惊喜 之 余 ， 又 有 点 不 愉快 ， 原 因 是 ， 那 么 多 的 操作 ， 忘 了 是 哪些 操作 引起 的 程 
序 崩溃 。 步 骤 多 ， 分 辨 难 ， 怎 么 办 ? 





谁 能 想到 Bug 原 来 在 这 里 ! 
小 莹 重新 理 了 一 下 思路 ， 尽 量 缩小 错误 的 出 现 区 域 ， 她 采取 如 下 步 又。 


1) 排除 法 : 排除 极端 场景 。 从 这 种 类 型 错误 出 现 的 次 数 来 看 ， 这 是 一 个 普通 用 户 都 会 使 用 的 操作 造成 的 ， 自 然 可 以 排除 一 些 特别 极端 的 场景 : 例如 第 一 个 字段 选择 A， 第 二 个 字段 选择 
B， 第 三 个 字段 必须 选择 C 才 能 出 现 骨 溃 的 此 类 的 场景 。 














2) 选择 怀疑 对 象 : 设置 过 滤 条 件 的 页 面 上 有 很 多 组 件 ， 当 小 蔡 正 常 使 用 时 ， 没 有 出 现 骨 溃 ， 例 如 正常 设置 每 个 字段 的 值 ， 然 后 进行 搜索 ， 一 切 正常 ， 没 问题 ! 那 就 要 怀疑 用 户 经 常 使 用 
的 方式 了 ， 例 如 输入 了 一 段 文本 ， 又 想 换 成 另外 一 个 值 ， 类 似 这 种 稍微 特殊 的 场景 ， 会 不 会 造成 程序 崩溃 。 























3) 最 后 的 尝试 : 小 蔡 把 页 面 的 输入 类 型 进行 归 类 ， 一 共 六 种 ， 包 括 数字 类 型 ， 文 本 输入 类 型 ， 下 拉 单 选 框 ， 下 拉 多 选 框 ， 日 期 选择 框 ， 开 关 设置 框 等 。 然 后 分 别 进行 了 尝试 : 在 文本 输 
入 框 中 输入 文本 ， 然 后 删除 ， 接 着 输入 数字 ; 在 单 选 框 中 选择 最 大 值 和 最 小 值 ， 然 后 重新 选择 一 个 新 的 数值 ， 等 等 。 这 里 就 不 一 一 列举 了 。 














真相 终于 浮 出 水 面 : 当 使 用 单 选 框 时 选 了 一 个 值 ， 接 着 又 更 换 成 另 一 个 值 ， 这 时 页 面 就 会 崩溃 。 这 个 前 溃 是 由 开发 人 员 的 代码 造成 的 ， 而 不 是 第 三 方 开源 框架 。 在 开发 人 员 的 代码 中 ， 这 
个 场景 会 引起 一 个 空 指针 的 异常 ， 造 成 页 面 的 前 溃 。 但 是 这 个 空 指 针 异 常 在 日 志 中 没有 记录 对 应 的 代码 行 号 ， 这 让 开发 人 员 很 难 定位 问题 根源 。 





定位 到 程序 崩溃 的 原因 ， 小 莹 很 开心 。 当 开发 拿 到 小 莹 的 报告 后 ， 很 是 惊讶 ， 实 在 没 想到 这 里 会 出 现 异 常 ， 随 后 对 Bug 快 速 进行 修复 。 

















事后 小 莹 又 对 话 老 牛 : 





小 蒙 : 重 现 程序 崩溃 过 程 中 ，“ 步 骤 多 ， 难 分 辨 ”该 怎么 对 付 ? 


老 牛 : 使 用 录制 软件 记录 操作 步骤 
小 蔡 : 老 牛 就 是 老 牛 ， 可 为 什么 你 之 前 不 告诉 我 ? 
老 牛 :这 不 ， 你 没 间 嘛 …… 


通常 软件 发 生 异常 的 时 候 ， 后 台 会 抛 出 错误 堆栈 和 错误 行 号 ， 开 发 可 以 定位 到 出 错 代 码 位 置 ， 随 后 进行 修复 。 而 这 次 后 台 只 打印 了 Null Pointer 异 常 ， 没 有 错误 堆栈 和 出 错 行 号 ， 开 发 不 
知道 该 在 哪 一 行 设置 程序 断 点 进行 调试 ， 这 是 开发 找到 小 蔡 去 重 现 Bug 的 主要 原因 。 




















小 葵 拿 到 任务 后 ， 开 始 也 只 能 靠 经 验 和 猜测 ， 并 不 清楚 用 户 操作 异常 发 生 的 具体 原因 。 好 在 后 台 日 志 记 录 了 这 个 异常 发 生 的 具体 页 面 ， 这 就 大 大 缩小 了 寻找 问题 的 范围 。 


























在 这 个 页 面 上 的 控件 比较 多 ， 有 输入 类 型 、 日 期 、 选 择 类 型 等 ， 此 外 加 上 操作 顺序 的 干扰 ， 如 果 用 排列 组 合法 全 部 测 一 遍 ， 工 作 量 会 大 到 无 法 承受 。 所 以 小 莹 开始 时 是 “ 撞 大 运 ” 法。 这 
里 的 “ 撞 大 运 ” 不 是 随机 点 击 各 个 组 件 ， 而 是 先 分 析 后 台 日 志 ， 发 现 有 不 少 用 户 碰 到 这 个 问题 ， 说 明 缺 陷 出 现 的 场景 是 个 通用 场景 。 于 是 小 蔡 就 假设 自己 是 用 户 在 做 一 些 常 用 操作 ， 看 看 会 不 
会 出 现 问题 。 
























































如 果 在 这 时 ， 人 小 莹 使 用 了 老 牛 建议 的 录制 软件 ， 后 面 可 以 节约 不 少时 间 。 小 蔡 在 尝试 几 分 钟 后 就 磁 到 这 个 异常 ， 但 她 无 法 记 清 之 前 自己 做 过 的 所 有 步 又。 如果 用 上 录制 软件 ， 就 可 以 回放 
看 到 所 有 步 又， 对 这 些 步骤 进行 分 析 ， 应 该 能 更 快 找 出 原因 。 
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8.8 人 小结 





通过 本 章 的 Bug， 大 家 可 以 看 出 ,虽然 移动 Web 的 基础 是 Web 开 发 技术 ， 但 是 却 有 着 更 多 移动 端的 特性 ， 在 设计 和 执行 移动 Web 测 试 的 时 候 ， 我 们 不 能 简单 套用 Web 测 试 的 方案 ,而 需 
要 针对 移动 Web 的 特点 进行 改进 ， 以 适应 移动 Web 的 使 用 场景 。 

















第 9 章 ” 非 功能 性 测试 





产品 的 非 功 能 性 需求 一 直 都 是 公司 和 用 户 关注 的 重点 ， 例 如 我 们 这 一 章 如 











Un 


点 介绍 的 可 用 性 测试 与 本 地 化 和 全 球 化 测试 。 









































虽然 可 用 性 和 产品 功能 并 不 直接 相关 ， 但 是 对 于 用 户 来 说 ， 却 是 最 直接 可 以 观察 和 体验 的 产品 特征 。 进 行 可 用 性 测试 时 最 直观 的 方法 是 验证 产品 的 界面 和 样式 等 ， 但 是 这 种 方案 随 着 产品 
不 同 而 不 同 ， 也 随 着 界面 设计 的 程度 而 不 同 。 那 我 们 在 本 章 给 大 家 介绍 的 可 用 性 测试 又 包括 哪些 呢 ? 















































本 章 第 一 个 故事 介绍 的 是 由 于 不 同 语言 导致 的 可 用 性 测试 问题 ;第 二 个 故事 是 由 于 各 国法 律 不 同 导致 产品 需要 满足 不 同 的 可 用 性 ， 准 确 来 说 是 需要 满足 不 同 辅助 功能 的 问题 ; 而 第 三 个 问 
题 是 由 于 很 多 用 户 直接 使 用 键盘 操作 ， 导 致 和 辅助 功能 中 提供 的 功能 冲突 的 问题 。 























对 于 面向 全 球 或 者 至 少 面向 多 地 区 的 产品 来 说 ， 本 地 化 和 全 球 化 都 是 一 个 重要 的 工作 内 
导致 的 架构 改动 。 
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首先 在 产品 进行 技术 架构 时 ， 就 需要 考虑 到 对 本 地 化 和 全 球 化 的 支持 ， 以 尽量 避免 后 期 由 此 而 
































次 对 于 本 地 化 和 全 球 化 来 说 ， 除 了 对 界面 的 大 量 调整 之 外 ， 其 实 本 地 化 和 全 球 化 对 产品 功能 的 影响 也 是 非常 巨大 的 。 
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本 章 第 四 个 故事 通过 小 蔡 在 网 站 的 本 地 化 和 全 球 化 测试 中 遇 到 的 问题 以 及 总 结 的 经 验 ， 给 各 位 读者 一 些 进行 这 类 测试 时 对 界面 测试 的 思考 ;而 第 五 个 故事 通过 本 地 化 对 快捷 键 功能 的 影 
响 ， 希 望 给 读者 一 些 思考 和 启发 。 














下 面 我 们 来 看 看 非 功 能 性 测试 中 的 这 些 故 事 。 














9.1 搜索 结果 为 单数 时 仍 显示 复数 名 词 














一 般 来 说 测试 人 员 在 测试 可 用 性 时 ， 会 更 多 地 关注 显示 的 样式 、 用 户 的 使 用 习惯 、 辅 助 功能 和 产品 的 易 用 性 等 方面 ， 但 是 很 少 注意 到 由 于 不 同 国家 或 地 区 使 用 的 语言 不 同 带 来 的 易 用 性 的 
问题 。 小 蔡 在 最 近 的 产品 测试 中 就 遇 到 了 这 样 的 问题 。 



































小 莹 所 在 团队 开发 的 购物 网 站 在 多 个 国家 和 地 区 都 有 用 户 ， 所 以 网 站 也 是 多 语言 版 本 的 。 小 蔡 在 确保 每 个 语言 的 站 点 都 正常 工作 的 基础 上 ， 还 测试 了 不 同 语言 显示 样式 的 不 同 。 

















虽然 对 于 多 语言 网 站 ， 需 要 注意 文字 的 准确 性 ， 但 是 小 蔡 从 来 没 注意 到 在 搜索 结果 页 面 上 ， 有 一 行 小 字 显示 总 共有 多 少 个 结果 。 她 在 测试 英文 网 站 时 碰巧 遇 到 了 搜索 关键 字 没有 给 出 结果 
的 情况 ， 然 后 发 现 搜索 结果 中 显示 “0 listings”。 这 明显 是 一 个 英语 单 复 数 的 问题 ， 应 该 是 “0 listing” ， 使 用 单数 而 不 是 复数 。 























小 莹 又 赶紧 测试 了 下 有 多 个 和 有 一 个 结果 时 搜索 结果 的 显示 ， 结 果 都 是 正确 的 〈 见 图 9-1) 。 














this is meaningful 


Refine your search for this is meaningful 


All Listings | Auciion Buy lt Now 


this is meaningful |7 listings| |+|Follow this search 


this is a meaningful 





Refine your search for this is a meaningful 


All Listings | Auction | Buy lt Now 
this is a meaningful |1 listing | | 二 | Follow this search 


this is not a meaningful keyword 





Refine your search for this is not a meaningful keyword 


AllListings | Auction Buy It Now 





this is not a meaningful keyword +| Follow this search 





图 9-1 搜索 结果 中 名 词 单 复数 有 问题 








从 图 9-1 可 以 看 出 ， 正 确 的 显示 逻辑 是 : 








“ 当 有 多 个 搜索 结果 时 ， 搜 索 结果 中 显示 “X Xlistings”; 


“ 当 有 一 个 搜索 结果 时 ， 搜 索 结果 中 显示 “1 listing”。 








看 来 开发 人 员 当 时 考虑 到 了 多 个 和 一 个 搜索 结果 时 名 词 单 复数 显示 的 不 同 ， 却 忽略 了 0 结果 这 种 情况 。 








小 获 发 现在 其 他 欧洲 语言 的 搜索 结果 中 也 有 这 个 问题 。 因 为 她 基本 上 是 使 用 中 文 网 站 进行 的 测试 ， 而 中 文 里 名 词 并 没有 单 复 数 的 区 别 ， 所 以 这 个 问题 一 直 隐 藏 没有 被 发 现 。 











虽然 一 个 文字 的 错误 并 没有 什么 大 的 功能 影响 ， 但 是 对 于 英语 语言 的 客户 来 说 ， 这 体现 了 一 个 网 站 的 专业 性 ， 出 现 这 种 错误 ， 会 对 产品 在 客户 心中 的 形象 产生 负面 影响 。 





产品 经 理 听取 小 蔡 的 报告 之 后 ， 决 定 修复 这 个 问题 。 开 发 人 员 在 搜索 结果 的 逻辑 判断 中 增加 了 对 0 搜索 结果 的 处 理 。 


小 蔡 认 为 对 于 多 语言 的 测试 ， 不 仅 要 检查 文字 是 否 进行 了 翻译 ， 而 且 需 要 对 不 同 语言 的 基本 语法 有 所 了 解 ， 这 样 才能 看 得 出 语句 是 否 存 在 不 通顺 或 者 语法 错误 的 问题 。 


9.2 ”辅助 功能 引发 的 法 律 风 险 





不 少 人 认为 辅助 功能 是 为 身体 有 功能 性 障碍 的 人 士 使 用 的 ， 这 点 不 完全 正确 ， 因 为 普通 的 老年 人 可 能 都 会 使 用 移动 设备 辅助 功能 里 面 的 大 字体 等 设置 ( 见 图 9-2) 。 
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图 9-2 iOS 辅 助 功能 中 的 大 字体 
桌面 端 网 页 对 辅助 功能 的 支持 并 不 如 移动 设备 全 面 ， 但 是 对 于 视觉 障碍 的 支持 却 是 类 似 的 ， 例 如 iOS 设 备 上 的 accessibilityLabel 以 及 桌面 端 网 页 的 alternative text。 


在 测试 需求 中 出 现 对 辅助 功能 的 要 求 ， 让 小 蔡 觉 得 很 意外 。 但 是 根据 业务 方 的 解释 ， 由 于 网 站 需要 在 多 个 国家 和 地 区 发 布 ， 而 很 多 国家 对 于 面向 大 众 的 网 站 的 可 用 性 都 是 有 法 律 要 求 的。 
如 果 不 能 让 身体 功能 性 障碍 人 士 方便 地 使 用 而 上 线 ， 就 会 触犯 法 律 ， 很 可 能 会 面临 高 额 的 惩罚 ， 哪 怕 没 有 身体 功能 性 障碍 人 士 真 的 使 用 网 站 。 这 种 法 律 保证 了 身体 功能 性 障碍 人 士 和 一 般 民众 
享有 同等 的 机 会 和 权利 。 


但 是 小 蔡 对 辅助 功能 完全 不 知道 如 何 测试 ， 从 网 上 找 也 就 知道 了 WCAG (Web Content Accessibility Guidelines) 这 样 的 标准 。 要 是 一 点 一 点 地 对 照 去 测试 ， 会 非常 花 时 间 ， 而 且 还 可 
能 因为 经 验 不 足 和 不 会 灵活 运用 漏 掉 一 些 问题 。 正 在 她 一 筹 莫 展 的 时 候 ， 老 牛 告诉 她 ， 根 据 他 之 前 的 经 验 ， 可 以 使 用 一 些 工 具 ， 例 如 WAVE (Web Accessibility Evaluation Tool) 来 协助 测 
试 ， 就 像 对 产品 进行 安全 测试 的 时 候选 用 ZAP (Zed Attack Proxy) 和 Burp Suite 一 样 。 





小 蔡 使 用 WAVE 果 真 快 速 地 发 现 了 不 少 问题 ( 见 图 9-3) : 虽然 大 部 分 只 是 缺失 alternative text， 但 是 也 有 缺少 文本 语言 ， 空 链接 ， 缺 少 标题 ， 同 页 链接 失效 等 问题 。 
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图 9-3 ”使 用 WAVE 发 现 辅助 功能 存在 的 问题 


通过 使 用 辅助 功能 检测 工具 快速 地 找 出 网 页 的 问题 ， 小 蔡 高 效 完成 了 辅助 功能 的 测试 任务 ， 也 加 深 了 她 对 需要 执行 的 测试 类 型 一 一 可 用 性 测试 的 认识 。 





@ 术 必 hR ”网 站 无 障碍 测试 工具 
(1) WAVE 


WAVE (http://wave.webaim.org/) 是 一 个 由 WebAIM 提 供 的 免费 网 页 无 障碍 测试 工具 ， 它 会 以 不 同 的 图 标 指出 网 页 内 未 达标 的 部 分 。WAVE 使 用 起 来 也 很 简单 ， 只 要 输入 要 检测 的 网 址 或 
者 上 传 文件 就 可 以 进行 测试 了 。 


(2) Web Accessibility Toolbar 


Web Accessibility Toolbar (http://web-accessibility-toolbar.blogspot.com/) 是 一 款 提 供给 开发 人 员 用 于 检查 页 面 结 构 和 可 用 性 的 工具 。 这 个 工具 是 作为 IE 浏览 器 的 一 个 扩展 进行 安装 的 ， 不 过 
已 经 很 长 时 间 没 有 更 新 了 ， 所 以 对 于 新 的 浏览 器 内 核 和 框架 的 支持 不 如 WAVE。 


人 @RniRG 计算 机 畏 助 功能 





辅助 功能 是 指 软件 或 硬件 系统 为 了 让 在 一 个 或 多 个 方面 有 障碍 的 人 士 也 可 以 使 用 ， 从 而 实现 的 一 组 功能 。 

这 些 阻碍 残障 人 士 使 用 软 硬 件 系统 的 障碍 包括 以 下 方面 。 

1) 认 知 或 学 习 障 碍 ， 如 诵读 困难 、 自 闭 症 、 文 讶 等 。 

2) 视力 低下 、 完 全 或 部 分 失明 、 色 盲 、 视 力 障碍 。 

3) 听力 有 关 的 疾病 ， 包 括 耳 奏 ， 重 听 等 。 

4) 残疾 或 运动 障碍 ， 不 能 良好 地 使 用 键盘 、 鼠 标 等 输入 设备 。 

针对 这 些 障碍 可 以 采取 的 解决 方法 如 下 。 

1) 认 知 障碍 和 文盲 : 计算 机 辅助 功能 的 最 大 挑战 之 一 是 使 那些 没有 阅读 能 力 的 人 访问 资源 。 一 般 可 以 通过 启动 屏幕 阅读 软件 等 方法 帮助 解决 问题 。 


2) 视力 障碍 : 有 轻 度 到 中 等 视力 障碍 的 人 可 以 使 用 大 字体 、 高 分 辨 率 〈dpi) 的 显示 器 、 高 对 比 度 的 主题 和 图 标 、 屏 幕 阅读 和 屏幕 放大 软件 。 当 失明 或 有 严重 视力 障碍 时 ， 屏 幕 阅读 软件 
是 个 不 错 的 选择 ， 它 通过 文本 提供 语音 反馈 。 


3) 残疾 或 运动 障碍 : 有 些 人 不 能 正常 地 使 用 常规 的 输入 设备 ， 如 鼠标 或 键盘 。 可 以 使 用 交换 机 、 操 纵 杆 和 轨迹 球 或 更 多 的 专业 解决 设备 。 语 音 识 别 技术 也 是 一 种 合适 的 替代 传统 键盘 输 
入 和 鼠标 输入 的 方法 。 


4) 听力 障碍 : 可 以 使 用 字幕 ， 标 题 等 信息 辅助 浏览 。 





jt 展 #0iRG@ 网 络 无 障碍 和 无 障碍 标准 
网 络 无 障碍 旨 在 确保 任何 人 都 有 办 法 获取 网 页 上 的 媒体 内 容 ， 无 论 人 们 是 否 遭 遇 了 身体 、 心 理 或 技术 上 的 障碍 ， 都 不 会 妨碍 人 们 接收 信息 。 
使 用 无 障碍 网 页 规范 所 制作 的 网 页 ， 有 助 于 视觉 、 听 觉 、 行 动能 力 与 认 知 能 力 有 障碍 的 用 户 浏览 。 
网 络 信息 要 能 够 以 “无 障碍 ”的 方式 传达 给 用 户 ， 基 本 上 包含 以 下 三 个 要 素 。 
1) 网 页 内 容 应 遵照 规范 设计 : 如 政府 所 颁 订 的 无 障碍 网 页 规范 ， 及 国际 组 织 W3C 公 布 的 “网 页 内 容 无 障碍 设计 指引 ” (WCAG 2.0) 。 
2) 良好 的 信息 辅助 软件 ， 如 屏幕 报 读 软件 、 点 字 显示 器 等 。 
3) 用 户 要 具备 足以 操作 浏览 辅助 软件 的 能 力 。 
各 国 网 络 无 障碍 的 标准 与 规范 : 
“万维网 联盟 通过 网 络 无 障碍 组 织 (Web Accessibility Initiative) ， 针 对 网 络 无 障碍 发 布 了 网 页 内 容 可 及 性 规范 ， 简 称 WCAG， 是 一 系列 的 指导 原则 。 
: 澳大利亚 、 加 拿 大 、 法 国 、 德 国 、 日 本 和 新 西 兰 政府 已 经 采纳 了 WCAG 2。 
“ 英国 政府 网 站 必须 符合 WCAG 1 AA 或 WCAG 2 AA。 
“ 在 美国 ，Section 508 正 在 更 新 与 WCAG 2 保持 一 致 。 
“ 欧盟 委员 会 正在 研究 将 WCAG 2 作为 欧洲 政府 标准 ， 但 德国 (BITV) 和 意大利 的 国家 标准 使 这 一 过 程 变 得 复杂 。 


“中国 工 业 和 信息 化 部 已 在 2008 年 发 布 了 中 华人 民 共 和 国 通信 行业 标准 《信息 无 障碍 身体 机 能 差异 人 群 网 站 设计 无 障碍 技术 要 求 》。 同 时 ， 在 此 基础 上 ， 制 定 了 《网 站 设计 无 障碍 技术 要 
求 等 级 一 指南 》。 


9.3 ”辅助 功能 和 键盘 用 户 的 冲突 : 快捷 键 的 顺序 问题 





为 了 验证 产品 的 辅助 功能 ， 小 莹 的 公司 特意 邀请 了 一 些 视觉 障碍 人 士 帮助 使 用 产品 ， 没 想到 还 真 的 发 现 了 不 少 问题 一 一 视觉 障碍 人 士 使 用 的 读 屏 软件 读 出 的 元 素 顺 序 很 乱 ， 也 没有 结构 
化 ， 所 以 这 些 用 户 没有 办 法 进行 操作 。 








小 蒙 和 开发 人 员 一 起 被 指派 查找 相应 的 问题 并 进行 修复 。 她 在 调查 中 发 现 开 发 人 员 根 据 他 们 的 使 用 习惯 ， 设 置 了 网 页 上 元 素 的 tabindex， 把 常用 的 输入 元 素 设置 为 数值 较 小 的 tabindex， 
这 样 他 们 需要 进行 相应 操作 时 只 要 使 用 Tab 键 就 能 很 快 跳 转 到 相应 元 素 上 。 























其 实 对 于 不 少 IT 人 士 (键盘 用 户 ) 来 说 ， 他 们 都 喜欢 使 用 Tab 键 进行 元 素 跳 转 和 快速 点 击 。 如 果 元 素 的 tabindex 没 有 设置 正确 或 者 没有 设置 ， 就 不 能 做 到 使 用 Tab 键 进行 跳 转 ( 见 





区 











4) 。 





图 9-4 通过 Tab 键 选择 时 元 素 高 亮 显示 





网 页 提供 的 辅助 功能 中 不 仅 包 含 了 对 视觉 障碍 的 辅助 ， 对 大 字体 的 支持 等 ， 还 包括 了 对 快捷 键 顺序 的 定义 ， 因 为 对 于 视觉 障碍 人 士 使 用 网 页 来 阅 ， 他 们 都 是 通过 特殊 的 读 屏 软 件 ， 按 照 页 
面 上 一 个 一 个 标记 着 alternative text 的 元 素 顺 序 读 出 来 的 。 

















试想 如 果 这 些 元 素 很 多 ， 元 素 跳 转 顺 序 混乱 甚至 有 循环 ， 或 者 有 些 需要 操作 的 元 素 并 不 能 跳 转 到 ， 那 视觉 障碍 人 士 就 无 法 使 用 产品 了 。 





而 小 蔡 现 在 遇 到 的 问题 是 这 种 键盘 用 户 的 习惯 和 视觉 障碍 人 士 的 使 用 体验 之 间 的 冲突 。 现 在 不 少 易 用 性 规范 都 建议 不 要 滥用 tabindex， 而 是 尽量 优化 页 面 结构 。 在 开发 人 员 的 协助 下 ， 页 
面 上 的 tabindex 被 取消 了 ， 由 于 页 面 对 读 屏 软件 支持 性 的 提高 ， 视 觉 障碍 人 士 也 能 正常 使 用 网 站 了 。 








jt 展 ki 通过 tabindex 控 制 输入 顺序 





键盘 用 户 通常 会 使 用 Tab 键 将 光标 从 一 个 可 获取 焦点 的 元 素 有 序 地 移动 到 下 一 个 元 素 。 像 链接 和 表单 元 素 默认 都 是 可 获取 焦点 的 ， 它 们 的 默认 焦点 顺序 取决 于 它们 在 源 代 码 中 出 现 的 顺 


1) tabindex=0: 当 tabindex 设 置 为 0 时 ， 元 素 的 Tab 键 序 与 其 在 源码 中 的 顺序 一 致 。 


2) tabindex=-1: 当 tabindex 被 设置 为 像 -1 这 样 的 负数 时 ， 该 元 素 就 变 成 可 由 代码 获取 焦点 ， 但 其 本 身 并 不 在 Tab 键 序列 表 中 。 也 就 是 说 ， 在 按 下 Tab 键 时 ， 该 元 素 不 能 获取 到 焦点 ， 但 是 可 
以 通过 代码 来 获取 到 焦点 。 


3) tabindex=1+: 当 tabindex 设 置 为 一 个 正 数 时 ， 情 况 就 复杂 了 。 它 可 以 使 一 个 元 素 不 按 页 面 顺序 来 获取 焦点 。 然 而 设置 的 大 于 1 的 tabindex 属 性 ， 将 使 焦点 顺序 变 得 不 可 预期 ， 而 且 与 视觉 
样式 和 源码 顺序 无 关 。 


伟 注 总 tabindex 属 性 很 常用 ， 它 可 以 改善 或 破坏 键盘 用 户 对 页 面 的 可 用 性 。 所 以 使 用 该 属性 时 需要 注意 : 
tabindex=0 可 以 使 一 个 元 素 按 自然 顺序 出 现在 Tab 键 序 中 ， 同 时 ， 尽 量 使 用 默认 可 获取 焦点 的 元 素 ; 


tabindex=-1 可 以 使 一 个 元 素 由 代码 获取 到 焦点 ， 但 其 本 身 并 不 在 Tab 键 序 中 ; 避免 设置 tabindex=1+。 


9.4 ”网 站 国际 化 和 本 地 化 测试 中 碰 到 的 问题 





小 莹 的 公司 吸引 到 了 一 个 阿拉 伯 的 大 客户 ， 这 位 客户 希望 公司 根据 现 有 的 中 文 购物 网 站 ， 再 做 一 套 阿 拉 伯 语 版 本 的 网 站 出 售 给 他 们 。 





具体 会 如 何 实现 阿拉 伯 语 版 本 的 网 站 呢 ? 小 蔡 接 到 这 个 产品 测试 任务 后 ， 第 一 时 间 就 开始 考虑 开发 团队 会 如 何 实现 的 问题 ， 希 望 结 合 过 往 经 验 ， 防 范 产品 Bug 于 未 然 ， 于 是 小 莹 找到 研发 
团队 和 产品 团队 一 起 讨论 。 大 家 希望 借 此 契机 将 网 站 的 文本 和 其 他 环境 相关 的 资源 与 程序 代码 相 分 离 ， 这 样 的 话 公司 以 后 做 全 球 化 推广 的 时 候 就 不 用 更 改 大 量 代码 ， 只 需要 维护 一 下 文本 和 环 
境 资源 就 可 以 了 ， 这 样 能 节约 大 量 工作 。 





























所 以 在 这 次 测试 任务 中 ， 除 了 保证 网 站 功能 和 之 前 一 致 以 外 ， 还 需要 针对 特定 语言 版 本 的 网 站 ， 寻 找 一 些 专业 人 员 一 起 做 体验 测试 。 好 在 网 站 已 经 有 覆盖 范围 比较 完备 的 自动 化 测试 脚本 
一 一 包括 单元 测试 、 集 成 测试 和 E2E 测 试 ， 网 站 重 构 后 的 质量 能 有 比较 好 的 保障 。 























同时 ， 针 对 这 一 次 交付 的 阿拉 伯 语 版 本 网 站 ， 小 蔡 又 去 了 解 了 下 阿拉 伯 文 ， 她 发 现 阿拉 伯 文 和 中 文 或 者 英文 的 文字 方向 上 有 极 大 差异 ， 阿 拉 伯 文 的 书写 顺序 是 从 右 到 左 ， 所 以 看 上 去 阿拉 
伯 文 的 排版 上 和 中 文 以 及 英文 网 站 相反 ( 见 图 9-5) 。 
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图 9-5 ”联合 国 广播 电台 (阿拉 伯 文 ) 
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而 在 测试 过 程 中 ， 小 莹 发 现在 输入 框 中 ， 如 果 将 光标 移 至 句 尾 (最 左 ) ， 用 Backspace 键 删除 字符 的 话 ， 字 符 却 是 从 句子 最 右边 ( 句 首 ) 开始 删除 的 。 这 行为 太 奇怪 了 吧 。 











为 了 证 实 阿拉 伯 语 的 使 用 习惯 ， 小 蔡 还 特意 找 来 了 精通 阿拉 伯 语 的 同学 一 起 确认 Bug。 由 于 阿拉 伯 语 的 固有 特性 是 文字 从 右 向 左 输入 ， 所 以 左边 为 句 未 ， 右 边 为 句 首 。 我 们 在 做 删除 功能 
的 时 候 不 管 文字 排版 方向 是 什么 样 的， 都 应 当 遵 从 先进 后 出 的 原则 ， 即 删除 文字 的 方向 应 该 和 输入 文字 的 方向 相反 才 对 。 另 外 Delete 键 和 Backspace 键 的 删除 方向 应 该 不 同 的 问题 也 需要 特别 
注意 。 最 后 就 是 阿拉 伯 语 的 单词 在 删除 某 个 字母 后 词 态 会 需要 变形 态 ， 这 个 需要 语言 专业 人 士 协助 加 以 验证 。 























小 莹 把 阿拉 伯 语 版 本 中 发 现 的 Bug 报 告 给 研发 ， 之 后 又 对 英文 、 法 文 以 及 德 文 版 本 进行 了 体验 测试 。 


在 测试 过 程 中 ， 小 蔡 发 现在 这 些 语言 中 ， 大 写字 母 占 位 比较 宽 ， 容 易 造 成 文本 被 截断 的 问题 。 例 如 文本 中 如 果 存 在 大 量 的 W/M 这 种 比较 宽 的 字符 ， 会 造成 文本 超 长 被 截断 或 者 非 期 望 性 
折 行 。 另 外 在 字母 全 角 显 示 的 时 候 也 容易 出 现 显示 不 全 的 问题 。 


此 外 ， 小 蔡 还 发 现 了 一 些 疑 似 翻译 问题 ， 比 如 在 德 文 版 本 中 小 蔡 看 到 一 个 熟悉 的 英文 单词 “handy”， 她 以 为 这 是 未 翻译 成 德 文 的 英文 ， 但 是 又 觉得 如 果 是 英文 单词 的 话 放 到 这 里 ， 表 达 
的 含义 有 些 奇怪 。 于 是 她 找 来 专业 翻译 确认 ， 结 果 发 现 这 个 单词 在 德 文 里 面 也 是 存在 的 ， 不 过 意思 变 成 了 “手机 ”。 


小 莹 总 结 了 下 ， 针 对 不 熟悉 的 语言 版 本 进行 测试 时 ， 如 果 需 要 确认 是 否 本 地 化 正常 ， 首 先 需要 把 有 文本 的 地 方 快速 过 一 遍 ， 把 有 疑点 的 地 方 整 理 出 来 ， 比 如 阿拉 伯 语 删 字母 后 的 词 态 变化 
或 者 是 德 文 /法 文中 夹杂 着 眼熟 的 单词 ， 最 后 再 和 专业 语言 人 员 一 起 确认 一 下 。 





看 来 和 不 同 专业 的 同事 (比如 研发 、 产 品 、 翻 译 等 ) 之 间 的 合作 随 着 测试 工作 的 展开 ， 真 是 越发 重要 了 呢 ! 


全 入 i。 本 地 化 和 全 球 化 的 难点 
“书写 方向 。 壁 如 德语 是 从 左 到 右 ， 而 波斯 语 、 希 伯 来 语 和 阿拉 伯 语 是 由 右 到 左 。 


“ 相同 语言 在 不 同 地 区 的 拼 法 差异 。 如 美国 英语 、 加 拿 大 英语 使 用 localization， 而 英国 英语 和 澳洲 英语 使 用 localisation。 





' 图片 和 颜色 。 不 同文 化 对 于 同一 内 容 的 理解 和 解释 不 通 。 


“ 政府 给 定 的 编码 (如 美国 的 社会 安全 码 ， 英 国 的 National Insurance number， 爱 沙 尼 亚 的 Isikukood 及 其 他 各 国 的 身份 证 号 码 ) 和 护照 。 
“ 电话 号 码 、 地 址 和 国际 邮递 区 号 。 

* 货币 〈 符 号 、 货 币 标志 的 位 置 ) 。 

“度量衡 。 例 如 公制 和 英制 的 单位 等 。 

“日 期 跟 时 间 的 格式 ， 包 含 各 式 日 历 。 

“ 数字 格式 (小 数 点 、 分 隔 点 的 位 置 、 分 隔 所 用 的 字符 ) 。 


“ 产品 和 服务 所 使 用 国家 和 地 区 的 法 规 。 


人 @@i 展 in 识 ”区域 设置 





区 域 设置 locale 是 计算 机 中 一 套 定 义 用 户 的 语言 、 国 家 和 用 于 定义 用 户 希 望 在 其 用 户 界 面 上 看 到 的 各 种 可 以 改变 的 选择 的 参数 集合 。 通 常 一 个 locale 标 识 符 至 少 包括 一 个 语言 标识 符 和 一 个 


区 域 标识 符 。 
在 UNIX 和 Windows 中 ，locale 的 控制 是 不 同 的 。 


1) 在 UNIX 下 ， 通 常 通过 环境 变量 来 控制 locale。 这 些 环境 变量 包括 : LANG，LC_ALL，LC_CTYPE，LC_TIME 等 。 通 过 改变 这 些 环境 变量 可 以 控制 命令 必须 是 已 经 被 国际 化 的 和 本 地 化 
的 程序 或 者 命令 所 表现 出 来 的 locale。 


2) 在 Windows 下 ， 可 以 通过 改变 控制 面板 上 的 “语言 /区 域 ”中 的 区 域 的 值 来 设 定 Windows 的 当前 用 户 的 locale。 


9.5 ”过 度 本 地 化 快捷 键 














小 葡 被 分 配 去 测试 产品 的 右键 菜单 功能 。 一 般 来 说 网 页 产品 是 不 需要 自 定义 右键 菜单 的 ， 但 是 小 蔡 的 产品 是 购物 网 站 ， 需 要 展示 商品 的 详细 信息 ， 业 务 方 接收 到 用 户 的 反馈 说 ， 需 要 通过 
更 丰富 的 编辑 功能 展示 这 些 信息 。 所 以 业务 方 根据 这 些 需求 ， 为 商品 详细 信息 的 编辑 添加 了 富 文本 编辑 框 ， 同 时 为 了 便于 用 户 的 操作 ， 也 增加 了 对 应 的 右键 菜单 。 








由 于 产品 需要 在 多 国 市 场 上 发 布 ， 所 以 支持 多 国语 言 ， 对 这 些 语言 版 本 进行 测试 也 包含 在 小 蔡 的 测试 任务 中 。 











小 莹 首先 对 富 文本 编辑 框 的 功能 进行 了 测试 ， 由 于 使 用 的 是 第 三 方 库 提 供 的 编辑 框 功 能 ， 所 以 测试 并 不 复杂 ， 而 且 第 三 方 库 本 身 就 支持 多 语言 。 但 是 右键 菜单 的 多 语言 支持 却 是 开发 人 员 
编写 代码 实现 的 ， 小 蔡 就 把 重点 放 在 了 右键 菜单 测试 上 。 








在 执行 测试 的 过 程 中 ， 对 于 右键 菜单 的 功能 调用 没有 发 现 什么 问题 ， 倒 是 发 现 了 一 个 很 有 意思 的 多 语言 支持 问题 : 右键 菜单 选项 有 些 是 提供 快捷 键 操作 的 ， 当 然 在 英文 客户 端 没有 问题 
( 见 图 9-6) ， 但 是 对 于 其 他 语言 的 客户 端 ， 却 不 能 操作 。 














小 蔡 发 现 这 些 菜单 选项 的 快捷 键 ， 一 般 都 是 基于 英文 键盘 来 设 定 的， 所 以 写 的 都 是 英文 ,例如 Ctrl、Shift、Tab 这 些 单词 ( 见 图 9-7) 。 不 过 对 于 其 他 非 英 文 的 语言 ， 这 些 菜单 也 被 开发 人 
员 进 行 了 本 地 化 适 配 ， 例 如 中 文 版 本 中 ， 变 成 了 中 文 的 “控制 ”、“ 移 动 ”、“ 标 签 ”等 文字 ， 这 就 造成 了 用 户 无 法 通过 快捷 键 操作 这 些 菜单 选项 ， 因 为 中 文 键盘 上 并 没有 “控制 ”、“ 移 
动 ”、“ 标 签 ”这 种 按键 。 
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Duplicate tab Ctrli+k 
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图 9-7 更 加 明显 地 列 出 的 快捷 键 











这 个 问题 就 属于 过 度 本 地 化 导致 的 快捷 键 问 题 了 。 小 蔡 在 更 深入 的 思考 之 后 ， 发 现 其 实 这 些 快捷 键 ， 不 是 简单 地 保持 英文 不 翻译 就 好 了 ， 而 是 需要 根据 不 同 国家 键盘 类 型 ， 设 定 不 同 的 快 
捷 方 式 ， 以 便 用 户 能 正常 地 使 用 快捷 键 功能 。 














此 外 小 蔡 还 发 现 有 些 快捷 键 由 于 使 用 的 是 同一 个 快捷 方式 ， 会 造成 冲突 ( 见 图 9-8) 。 这 个 问题 不 仅 发 生 在 本 地 化 的 产品 中 ， 也 有 可 能 出 现在 英文 版 本 的 产品 中 ， 所 以 需要 开发 人 员 更 具 
有 全 局 观 ， 尽 早 发 现 这 样 的 问题 。 











Keyboard Text Shortcuts Input Sources 


To change a shortcut, select it, click the key combination, and then type the new keys. 


本 Launchpad & Dock Select the previous input source ^Space 
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国 Display Select next source in Input menu 人 Space 此 
国 Mission Control 


EE Keyboard 


ES Input Sources 外 | 


” Screen Shots 
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图 9-8 快捷 键 冲 突 





小 蔡 和 开 发 人 员 沟 通 确 认 后 ， 她 在 开发 组 内 部 举办 了 一 个 小 的 知识 分 享 ， 让 团队 内 部 对 产品 的 多 语言 支持 有 了 更 深入 的 认识 。 





Rx 快捷 键 、 访 问 键 和 快捷 键 冲突 





(1) 快捷 键 





又 叫 组 合 键 或 热 键 ， 是 指 通过 某 些 特定 的 按键 、 按 键 顺序 或 按键 组 合 来 完成 一 个 操作 。 


快捷 键 的 有 效 范围 不 尽 相同 : 系统 级 快捷 键 可 以 全 局 响应 ， 不 论 当 前 焦点 在 哪里 、 运 行 什么 程序 ， 按 下 时 都 能 起 作用 ; 而 应 用 程序 级 快捷 键 只 能 在 当前 活动 的 程序 中 起 作用 ， 当 应 用 程序 
不 活动 或 在 后 台 运 行 时 ， 这 种 快捷 键 就 无 效 了 ; 控件 级 快捷 键 则 仅 在 当前 控件 中 起 作用 。 


(2) 访问 键 (access key) 


也 就 是 在 应 用 程序 中 ， 是 为 了 提高 效率 或 为 不 便 操 作 鼠 标的 人 提供 访问 途径 ， 菜 单 等 控件 项 目 上 往往 带 有 用 下 划 线 标注 的 快捷 键 。 这 种 访问 键 在 英文 中 直接 表现 为 带 下 划 线 的 字母 ， 而 在 
中 文字 符 界 面 中 ， 由 于 键盘 上 没有 直接 对 应 字符 ， 需 要 再 添加 键盘 上 存在 的 英文 字符 来 执行 访问 键 。 


(3) 快捷 键 冲突 


一 个 快捷 键 一 般 只 能 对 应 一 个 功能 ， 如 果 两 个 不 同 的 功能 定义 了 同一 个 快捷 键 ， 并 且 快 捷 键 都 启用 了 ， 则 会 发 生 快捷 键 冲突 ， 导 致 快捷 键 失效 。 这 种 情况 一 般 发 生 在 两 个 系统 快捷 键 之 
间 ， 或 是 一 个 系统 快捷 键 和 一 个 应 用 程序 的 快捷 热 键 之 间 。 如 果 是 同 级 菜单 项 的 快捷 键 ， 则 会 在 快捷 键 相 同 的 项 目 之 间 来 回 跳 转 。 


9.6 小 结 














本 章 我 们 重点 介绍 了 非 功 能 性 测试 中 的 可 用 性 测试 与 本 地 化 和 全 球 化 测试 ， 从 这 些 故事 中 我 们 不 难看 出 对 于 真实 的 用 户 ， 产 品 体验 是 很 
发 来 测试 产品 ， 也 需要 了 解 用户 的 真实 使 用 场景 ， 更 合理 地 发 现 产品 遗漏 的 细节 ， 从 而 提高 测试 的 有 效 性 。 


中 





要 的 。 我 们 不 仅 需 要 从 思想 上 做 到 从 用 户 角 度 出 




















第 10 章 ”其 他 类 型 的 测试 








除了 我 们 常见 的 诸如 功能 测试 、 性 能 测试 、 安 全 性 测试 这 些 测试 类 型 之 外 ， 还 会 有 其 他 类 型 的 测试 吗 ? 在 敏捷 中 的 测试 又 会 有 不 同 吗 ? 


























从 笔者 的 观点 来 看 ， 答 案 是 非常 肯定 的 。 因 为 测试 人 员 在 敏捷 中 的 活动 不 仅 局 限 在 测试 这 一 个 环节 ， 而 是 跨越 了 产品 和 产品 开发 的 整个 生命 周期 ， 所 以 测试 类 型 自然 也 会 增加 。 

















首先 ， 测 试 人 员 在 测试 过 程 中 都 是 基于 软件 需求 进行 测试 的 ， 软 件 需求 一 般 会 覆盖 主流 的 使 用 场景 。 但 是 有 时 候 测 试 人 员 在 测试 过 程 中 会 发 现 很 多 需求 中 没有 定义 到 或 者 需求 比较 模糊 的 
情况 ， 这 个 时 人 息 ， 需 求 淤 清 变 得 特别 重要 ， 也 就 是 测试 人 员 要 跟 业 务 人 员 、 产 品 经 理 等 针对 特定 的 场景 重新 定义 需求 。 需 求 澄清 在 笔者 所 在 的 公司 随时 会 发 生 ， 所 以 本 章 一 开始 就 为 大 家 展现 
了 两 个 相关 案例 ， 让 大 家 直观 了 解 需求 澄清 对 测试 工作 的 重要 性 。 















































其 次 ， 测 试 环境 虽然 在 我 们 测试 过 程 中 至 关 重 要 ， 一 般 都 是 作为 基础 设施 ， 通 常 也 不 会 由 测试 人 员 来 负责 搭建 和 维护 。 但 是 敏捷 中 强调 全 功能 团队 ， 所 以 测试 人 员 是 有 必要 了 解 测试 环境 
的 搭建 和 维护 的 。 况 且 一 旦 测试 环境 出 现 了 问题 ， 通 常 体现 的 不 是 那么 直观 ， 更 多 表现 为 功能 或 者 其 他 类 型 的 Bug， 难 于 定位 。 本 章 的 4 个 关于 测试 环境 的 故事 介绍 了 小 蔡 是 如 何在 功能 和 部 
署 问题 的 外 表 下 发 现 测试 环境 的 Bug 的 。 



































最 后 ， 运 维 是 保障 产品 环境 的 稳定 、 高 效 、 低 成 本 运行 的 基石 。 敏 捷 中 测试 对 于 产品 和 产品 开发 的 提升 不 仅仅 局 限 在 开发 的 过 程 中 ， 也 体现 在 对 整个 产品 维护 的 生命 周期 中 。 从 运 维 角度 
出 发 ， 可 以 宏观 整个 产品 ， 在 全 局 优化 的 视野 上 ， 实 现 内 部 生产 力 最 大 化 ， 外 部 资源 依赖 最 小 化 。 而 我 们 在 运 维 阶 段 的 测试 ， 可 以 使 我 们 及 早 发 现 和 预防 Bug， 避 免 出 现 更 严重 的 问题 。 本 章 
最 后 的 4 个 故事 就 是 有 关 运 维 中 的 Bug 的 。 

















10.1 ”意料 之 外 的 用 户 操 作 








测试 人 员 在 评审 需求 、 设 计 和 执行 测试 用 例 时 ， 总 会 想 着 从 用 户 角 度 出 发 去 使 用 和 理解 系统 ， 这 样 可 以 提前 预防 与 发 现 需求 和 测试 用 例 的 问题 。 但 实际 上 测试 人 员 却 很 难 完全 做 到 像 用 户 
样 使 用 产品 ， 因 为 不 同 用户 有 着 不 同 的 使 用 产品 的 方式 ， 人 与 人 之 间 的 习惯 有 着 这 样 和 那样 的 差异 ， 从 这 个 角度 来 阅 ， 测 试 人 员 如 果 想 完全 覆盖 这 些 场景 ， 那 就 和 追求 实现 100% 的 测试 覆 
盖 率 一 样 ， 是 不 可 能 完成 的 任务 。 



































小 葡 最 近 就 遇 到 了 这 样 一 个 问题 : 产品 运 维 人 员 通 过 线 上 上 监控， 发现 有 个 账户 的 操作 存在 异常 ， 因 为 该 用 户 提交 订单 后 又 取消 订单 的 数量 非常 多 。 运 维 人 员 把 这 件 事情 汇报 给 产品 经 理 
后 ， 经 理 让 小 蔡 去 了 解 是 什么 原因 造成 这 个 用 户 出 现 大 量 取消 订单 的 现象 。 



















































































小 莹 通过 在 后 台 分 析 用 户 的 操作 日 志 ， 发 现 了 一 个 规律 : 这 个 用 户 总 是 下 单 多 件 商品 ， 但 是 这 些 商品 往往 属于 不 同 的 经 销 商 或 者 属于 不 同 的 发 货 仓库 ， 因 此 系统 会 自动 把 这 些 商品 做 “ 拆 
分 订单 ”处 理 ， 这 样 经 销 商 或 者 仓库 只 需要 处 理 自己 的 货物 即 可 。 人 小 蔡 发 现 这 个 用 户 在 拆 分 订单 后 ， 都 只 取消 其 中 的 一 部 分 商品 的 订单 ， 而 保留 另外 一 些 商品 的 订单 。 虽 然 在 测试 时 小 蔡 考 虑 
了 很 多 用 户 的 场景 ， 但 是 她 并 没有 把 这 个 场景 包含 其 中 ， 因 为 她 认为 用 户 根本 不 会 这 么 做 。 










































































单纯 看 用 户 的 操作 行为 ， 很 难 解释 用 户 为 什么 要 进行 这 样 的 操作 ， 不 过 小 蔡 注 意 到 一 个 细节 ， 那 些 用 户 没 有 取消 的 商品 价格 ， 总 是 在 80 元 以 下 ， 恰 I5 是 网 站 设 定 免 邮费 的 标准 之 下 。 


























会 不 会 是 用 户 想 免 邮 费 才 这 么 操作 的 呢 ? 小 莹 从 用 户 角度 思考 : 如 果 我 想 买 一 件 不 能 包 邮 的 商品 ， 是 不 是 可 以 先 选 择 一 些 其 他 商品 ， 接 着 和 这 件 不 能 包 邮 的 商品 一 起 下 单 ( 见 图 10-1) 。 
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图 10-1 选择 其 他 商品 一 起 下 单 





接着 ， 等 商品 进行 拆 分 后 ， 取 消 不 想 买 的 商品 ( 见 图 10-2) ， 这 样 用 户 就 能 在 不 承担 运费 的 情况 下 ， 买 到 不 满足 包 邮 条 件 的 商品 。 


支付 方式 ; 在 线 支 付 订单 状态 ; 已 拆 分 查看 拆 分 详情 > 


LoadRunner 性 能 测试 巧 匠 训 练 营 x1 总 额 ¥55.20 
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总 额 Y78.70 
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深入 理解 Android 自 动 化 测试 





图 10-2” 拆 分 订单 后 ， 选 择 取消 不 想 买 的 无 货 商 品 

















不 过 这 一 切 可 行 的 基础 是 购买 的 产品 会 被 系统 自动 拆 分 订单 ， 用 户 又 是 如 何 每 次 都 能 做 到 这 一 点 呢 ? 小 蔡 通 过 查看 用 户 所 购买 的 商品 ， 发 现 所 有 用 户 取 消 的 子 订单 商品 ， 要 么 是 预订 商 
品 ， 要 么 是 无 货 ， 甚 至 是 别 的 仓库 需要 时 间 准 备 发 货 的 商品 。 用 户 通过 巧妙 地 利用 发 货 时 间 差 ， 使 系统 自动 拆 分 商品 订单 ， 从 而 达到 免 运费 的 目的 。 






































小 莹 把 这 一 发 现 向 产品 经 理 进 行 了 汇报 ， 产 品 经 理 和 业务 方 确认 了 需求 ， 发 现 这 个 用 户 场景 在 设计 之 初 就 没有 考虑 过 ， 没 想到 还 隐藏 着 这 个 漏洞 。 但 是 现在 要 弥补 这 个 漏洞 ， 需 要 从 需求 
和 代码 两 方面 作出 调整 ， 尤 其 是 需求 方面 调整 会 涉及 很 多 方面 ; 鉴于 这 个 问题 暂时 没有 别 的 用 户 发 现 和 使 用 ， 并 没有 给 产品 运营 带 来 大 的 问题 ， 所 以 就 暂时 不 修正 了 。 




















不 过 对 小 莹 来 说 就 不 一 样 了 ， 她 一 直 认为 如 果 尽 可 能 地 按照 用 户 的 角度 和 习惯 设计 测试 用 例 ， 就 不 会 出 现 这样 的 问题 ， 但 现实 告诉 她 之 前 的 想法 是 错误 的 ， 而 且 理 论 上 是 无 法 100% 履 盖 
所 有 用 户 使 用 场景 的 。 
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老 牛 看 出 了 她 的 泪 形 ， 提 醒 她 可 以 使 用 之 前 学 习 过 的 实例 化 需求 的 办 法 ， 从 需求 提出 时 就 开始 设计 场景 和 用 例 ， 尽 可 能 地 避免 这 样 的 问题 出 现 。 同 时 也 规劝 她 ， 虽 然 不 可 能 做 到 100% 地 
测试 覆盖 ， 但 是 可 以 尽 全 力 保证 业务 核心 最 相关 的 功能 及 路 径 是 没有 问题 的 ， 这 样 也 能 保证 产品 的 收益 ,减少 产品 的 损失 ， 就 像 这 个 问题 ， 业 务 方 和 整个 项 目 组 最 终 都 同意 了 目前 的 解决 方 

















案 。 
具体 来 说 ， 可 以 先 分 析出 产品 的 功能 模块 和 功能 点 ， 之 后 根据 ; 


1) 如 果 出 现 Bug 是 否 会 影响 到 用 户 的 体验 和 阻碍 操作 流程 的 执行 ; 





2) 出 现 Bug 是 否 有 其 他 的 解决 方案 ; 





3) 出 现 Bug 的 可 能 性 。 

















确定 出 业务 核心 功能 ， 及 与 之 配套 的 测试 用 例 的 优先 级 。 这 样 可 以 在 执行 测试 用 例 时 ， 尤 其 是 全 面 的 回归 测试 时 更 能 做 到 有 的 放 矢 。 














除 此 之 外 ， 从 这 个 问题 被 发 现 的 过 程 来 看 ， 小 蔡 还 总 结 到 ， 线 上 监控 也 是 收集 用 户 反 馈 和 发 现 产品 缺陷 的 重要 手段 。 如 果 不 是 日 志 中 体现 出 用 户 异常 行为 的 话 ， 这 个 问题 不 知道 什么 时 候 
会 被 发 现 呢 ! 


在 网 上 翻阅 资料 后 ， 小 蔡 发 现 网 上 已 经 有 人 总 结 了 一 套 产品 环境 下 的 QA (QA in Production) 的 技术 实践 介绍 。 根 据 产品 环境 的 特点 ，QA 们 在 产品 环境 下 要 能 做 到 : 











1) 监控 预警 ， 利 用 网 站 日 志和 网 站 分 析 工 具 进 行 预警 ; 


2) 收集 用 户 反 馈 ， 由 于 用 户 行为 和 习惯 的 干 奇 百 怪 ， 用 户 提供 的 反馈 也 可 能 是 各 种 各 样 的 ， 为 了 更 好 地 利用 它们 ， 需 要 一 个 严格 的 Triage 的 过 程 ， 对 所 有 反馈 进行 分 类 并 相应 处 理 。 














这 个 时 候 QA 的 工作 范围 扩大 到 从 需求 到 产品 环境 ， 增 加 了 更 多 的 反馈 来 源 ， 跟 持续 交付 结合 ， 可 以 帮助 持续 提高 产品 质量 、 持 续 优化 业务 价值 。 同 时 ， 产 品 环境 下 的 QA 给 QA 的 工具 箱 
添加 了 更 多 的 工具 ,提供 了 更 多 评估 和 提高 系统 质量 的 选项 ， 是 QA 们 值得 深入 研究 的 话题 。 



































后 展 和 i 。 测 江 潮 盖 ( 率 ) 


为 了 对 测试 的 整体 进度 和 全 面 性 进行 评估 ， 就 需要 使 用 测试 覆盖 。 测 试 覆盖 既 有 基于 测试 需求 和 测试 用 例 的 覆盖 ， 也 有 对 基于 代码 的 测试 禾 盖 。 


(1) 基于 测试 需求 和 测试 用 例 的 测试 覆盖 


测试 覆盖 率 通 常 和 测试 用 例 息 息 相 关 。 每 次 执行 完成 一 条 用 例 ， 测 试 人 员 会 标记 测试 通过 的 情况 (成 功 还 是 失败 ， 抑 或 是 未 执行 等 ) 。 通 过 对 执行 完成 的 测试 用 例 进 行 统计 ， 并 和 测试 用 
例 全 集 进行 比较 ， 就 可 以 得 出 产品 的 整体 测试 覆盖 率 。 不 过 这 种 测试 覆盖 率 通 常会 和 测试 成 功 /失败 率 结合 使 用 ， 来 分 析 和 展示 产品 当前 的 质量 。 


此 外 基于 测试 需求 的 覆盖 率 可 以 通过 列举 功能 列表 ， 并 统计 和 分 析 列表 中 各 功能 模 决 的 测试 程度 ， 从 宏观 角度 得 出 产品 的 测试 覆盖 率 。 
(2) 基于 代码 的 测试 覆盖 


基于 代码 的 测试 覆盖 通常 是 在 单元 测试 阶段 执行 的 。 这 种 履 盖 率 着 重 分 析 在 测试 过 程 中 已 经 执行 了 多 少 代码 ， 从 而 和 需要 执行 的 全 部 代码 量 进行 比较 得 出 履 盖 率 。 代 码 履 盖 通常 会 统计 语 
名 覆盖 〈 行 履 盖 ) 、 分 支 覆 盖 、 条 件 禾 盖 和 路 径 覆 盖 的 总 和 。 


虽然 测试 履 盖 能 让 我 们 对 测试 进度 和 产品 质量 有 一 定 的 了 解 ， 但 是 单纯 把 测试 覆盖 作为 质量 目标 是 没有 任何 意义 的 。 测 试 覆 盖 应 该 被 作为 帮助 我 们 发 现 未 被 测试 覆盖 的 功能 /代码 的 一 种 
手段 。 


10.2 ”数据 元 素 应 该 支持 增删 改 查 








小 葡 的 产品 给 商家 用 户 提供 了 具有 丰富 编辑 功能 的 页 面 来 描述 和 展示 商品 ， 例 如 为 商品 信息 添加 链接 的 功能 。 




















这 一 功能 的 设计 初 束 是 为 了 满足 用 户 展示 商品 时 ， 有 些 文字 内 容 需要 通过 别 的 专业 网 站 的 信息 (例如 评分 和 认证 之 类 ) 来 突显 商品 的 优势 这 一 需求 。 但 是 小 蔡 在 测试 中 发 现 这 一 功能 有 着 
不 小 的 缺陷 : 她 发 现在 对 文字 操作 的 菜单 上 ， 并 没有 “添加 链接 ”这 个 选项 ， 但 是 却 有 对 链接 进行 其 他 操作 的 选项 ( 见 图 10-3) 。 
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图 10-3 ”没有 提供 添加 链接 的 功能 


小 莹 觉得 这 个 功能 挺 奇怪 的 ， 她 想 ， 作 为 一 个 用 户 ， 我 可 以 对 网 站 上 的 文字 超 链接 做 编辑 以 及 删除 等 功能 ， 但 是 却 没 办 法 进行 添加 。 如 果 没 有 添加 链接 的 功能 ， 就 不 会 存在 供 后 续 对 链接 
操作 的 功能 执行 的 基础 。 对 于 给 文字 链接 的 功能 ， 添 加 链接 、 删 除 链接 、 编 辑 链接 和 查看 链接 这 4 个 功能 ， 应 该 是 一 起 完成 的 ， 不 然 对 于 文字 的 操作 是 不 完全 的 ， 有 可 能 导致 用 户 的 行为 无 法 
完成 。 这 种 业务 需求 缺失 导致 的 问题 会 使 用 户 体验 大 打折 扣 ， 还 会 使 用 户 质疑 产品 的 能 力 。 





























老 牛 也 同意 小 蒙 的 看 法 ， 他 对 小 蒙 解释 道 : 作为 软件 的 使 用 者 ， 在 使 用 常见 功能 的 时 候 ， 他 们 极 有 可 能 去 参考 以 往 的 使 用 经 验 来 使 用 这 个 软件 。 尤 其 是 针对 “文字 编辑 ”这 类 的 数据 元 素 
操作 功能 ， 以 非常 著名 的 Microsoft Office 系 列 为 例子 ， 使 用 者 常用 的 操作 包含 : 








“ 文字 编辑 的 增删 查 改 ; 


“ 图 片 编辑 的 增删 查 改 ; 


“ 超 链接 编辑 的 增删 查 改 ; 


“ 图 表 编 辑 支持 的 增删 查 改 等 。 


无 论 是 从 业界 实践 还 是 况 品 网 站 来 看 ， 如 果 没有 特殊 需求 ， 增 删 查 改 (CRUD) 这 样 的 操作 通常 都 是 成 套 出 现 的 。 所 以 从 用 户 角度 出 发 来 看 这 个 功能 ， 确 实 不 合理 。 他 觉得 有 必要 跟 产 品 
经 理 确 认 下 需求 。 
































小 蔡 把 这 一 发 现 报告 给 产品 经 理 后 ， 得 知 原来 添加 链接 的 功能 是 有 需求 的 ， 不 过 因为 需求 文档 上 的 疏漏 ， 并 没有 添加 对 应 的 菜单 ， 导 致 这 一 功能 并 没有 开发 完成 。 




















幸亏 小 蔡 及 时 发 现 了 问题 ， 产 品 经 理 很 快 修正 了 需求 ， 开 发 人 员 随 后 快速 完成 了 添加 链接 的 功能 。 









































经 过 这 个 问题 ， 小 莹 总 结 到 ， 如 果 没 有 特定 需求 的 话 ，CRUD 应 该 是 成 套 出 现 的 ， 试 用 例 的 设计 中 没有 考虑 到 这 四 种 基本 场景 ， 就 会 出 现 测试 覆盖 不 全 面 的 问题 。 老 牛 补充 到 ， 这 次 发 现 
这 个 问题 ， 再 一 次 提醒 了 我 们 测试 提前 的 必要 性 。 所 谓 测试 提前 ， 就 是 说 测试 不 再 是 发 生 在 软件 开发 完成 后 的 行为 ， 而 是 应 该 从 软件 的 业务 价值 出 发 ， 从 需求 开始 介入 ， 参 与 整个 软件 的 生命 

















周期 ， 从 而 达到 预防 缺陷 的 目的 。 老 牛 继续 提醒 到 ， 复 盘 这 次 的 问题 发 生 的 原因 ， 如 果 小 蔡 能 够 在 软件 开发 前 就 发 现 需求 文档 中 的 这 个 疑点 ， 并 且 加 以 确认 的 话 ， 这 个 缺陷 就 是 一 个 可 以 被 预 
防 的 缺陷 了 。 


10.3 为 什么 要 天 注 测试 环境 之 间 的 差异 











最 近 小 蔡 在 类 产品 环境 上 发 现 了 一 个 Bug， 可 是 这 个 Bug 在 测试 环境 中 不 能 重 现 。 这 里 提 到 了 两 个 名 词 : “类 产品 环境 ”和 “测试 环境 ”， 其 实 项 目 中 的 环境 一 般 有 三 种 : 测试 环境 、 类 
产品 环境 、 产 品 环境 。 工 作 经 验 少 的 小 蔡 一 开始 认为 这 三 种 环境 只 是 名 称 叫 法 上 不 同 而 已 ， 认 为 所 有 功能 都 是 先 在 测试 环境 上 进行 测试 ， 之 后 定期 部 署 到 类 产品 环境 进行 自动 化 测试 ， 最 后 再 








(1) 颠覆 小 蔡 观 点 的 Bug 


先 来 简单 描述 一 下 这 个 Bug : 在 用 户 登 录 界 面 上 ， 除 了 要 求 用 户 输入 用 户 名 和 密码 以 外 ， 还 有 一 个 可 以 选择 的 复 选 框 是 “ 记 住 我 ”， 这 个 功能 大 家 应 该 都 明白 ， 主 要 为 了 方便 下 次 登录 。 
究 其 原理 就 是 系统 把 用 户 一 些 相关 信息 记录 在 浏览 器 的 Cookie 中 ， 当 用 户 下 次 打开 网 站 时 ， 系 统 会 先 读 取 存储 在 Cookie 中 的 信息 ， 并 进行 一 系列 验证 。 























小 莹 在 测试 环境 测试 过 该 功能 是 可 以 正常 使 用 的 ， 但 在 类 产品 环境 中 看 到 这 个 “ 记 住 我 ”的 功能 被 破坏 了 。 


(2) 小 蔡 的 难题 








小 莹 最 初 的 反应 是 这 个 Bug 可 能 和 Cookie 在 浏览 器 存储 的 时 间 有 关 。 她 打开 浏览 器 查看 了 保存 的 Cookie 信 息 ， 发 现 两 个 环境 存储 的 Cookie 是 一 致 的 ， 过 期 时 间 都 是 三 个 月 ， 那 这 里 没 问 
题 。 接 着 小 蔡 怀 疑 是 类 产品 环境 上 的 浏览 器 出 了 问题 ， 导 致 无 法 正确 读 取 Cookie 信 息 ， 最 终 让 “ 记 住 我 ”这 个 功能 无 法 使 用 ， 但 如 何 认定 是 类 产品 上 的 浏览 器 出 现 了 问题 ， 这 是 个 难题 。 








(3) 破坏 “ 记 住 我 ”的 幕后 黑手 





小 莹 找到 资深 QA 老 牛 ， 一 番 讨论 过 后 ， 小 蔡 才 憾 然 明白 了 ， 原 来 ， 测 试 环境 和 类 产品 环境 的 部 署 方 式 是 不 同 的 ， 正 是 这 种 差异 导致 了 这 个 Bug 的 出 现 。 














“ 测试 环境 后 台 只 有 一 台 服 务 器 。 


“ 类 产品 环境 后 台 有 两 台 服务 器 。 











相 比 测试 环境 中 只 有 一 台 服 务 器 的 部 署 方式 ， 在 类 产品 环境 中 部 署 的 两 台 服 务 器 ， 是 需要 跟 产 品 环境 一 样 做 负载 均衡 处 理 的 。 所 以 服务 器 之 间 的 信息 需要 备份 和 同步 ， 这 样 才能 保证 用 户 
请 求 发 送 到 任何 一 台 服 务 器 上 都 能 被 正确 处 理 。 

















这 次 Bug 的 原因 就 是 两 台 服 务 器 之 间 无 法 保持 Cookie 信 息 的 一 致 。 两 台 服 务 器 同步 信息 出 问题 ， 导 致 “ 记 住 我 ”功能 遭 破坏 。 也 就 是 说 ,测试 环境 和 最 终 真实 的 产品 环境 相似 度 只 有 
509%6。 





(4) 必 知 的 各 种 环境 间 的 差异 


了 解 各 种 环境 之 间 的 差异 ， 对 做 测试 工作 是 很 有 帮助 的 ， 可 以 少 走 很 多 弯路 。 那 么 ， 各 种 环境 之 间 除 了 服务 器 数量 上 的 不 同 ， 还 存在 哪些 差异 呢 ? 小 蔡 和 老 牛 交流 后 ， 了 解 到 这 个 项 目 
中 ， 各 个 环境 的 差异 还 是 很 多 的 ， 这 些 点 都 会 影响 到 具体 的 测试 工作 。 


“ 测试 环境 不 能 使 用 SSL 加 密 访问 ， 而 在 其 他 环境 都 可 以 使 用 。 因 此 测试 登录 等 需要 SSL 加 密 的 功能 模块 时 ， 应 在 类 产品 环境 中 进行 。 


* 测试 环境 没有 使 用 CDNII 网 络 帮 助 用 户 快 速 访问 网 站 ， 而 其 他 环境 使 用 了 CDN 网 络 。 当 给 系统 做 性 能 测试 时 ， 需 要 在 类 产品 环境 中 进行 ， 可 以 获得 真实 用 户 在 使 用 CDN 网 络 后 打开 网 页 
的 时 间 信 息 。 


“ 测试 环境 没有 使 用 负载 均衡 〈 因 为 只 有 一 台 服务 器 ) ， 而 其 他 环境 都 使 用 了 负载 均衡 。 
: 理想 情况 下 ， 日 常 测试 工作 应 在 测试 环境 做 ， 每 过 一 周 或 者 两 周 部 署 最 新 代码 到 类 产品 中 ， 在 类 产品 环境 中 进行 回归 测试 ， 查 看 是 否 存 在 被 遗漏 的 Bug。 


“ 测试 环境 使 用 的 是 亚马逊 云 平 台 ， 类 产品 环境 和 产品 环境 使 用 公司 自 有 的 数据 中 心 。 类 产品 环境 和 产品 环境 的 相似 度 是 70%， 主 要 差别 在 机 器 部 署 上 ， 例 如 类 产品 环境 有 两 台 服务 器 ， 
而 产品 环境 使 用 了 两 个 小 集群 ， 分 别 部 署 在 不 同 的 城市 ， 每 个 小 集群 会 包含 3 台 以 上 服务 器 。 








跟 老 牛 聊天 ， 总 能 给 小 蔡 很 多 启发 。“ 记 住 我 ”这 个 功能 让 小 莹 明白 了 在 不 同 环境 下 测试 必须 要 了 解 各 环境 之 间 的 差异 ， 才 好 针对 不 同 环境 做 对 应 的 测试 工作 ， 从 而 有 效 提高 测试 工作 的 
效率 和 质量 。 





不 过 ， 上 述 环境 之 间 的 差异 是 针对 某 个 项 目 而 言 的 ， 小 蔡 所 在 项 目 组 维护 的 是 一 个 使 用 了 多 年 的 遗留 系统 。 而 公司 最 近 新 起 的 一 些 项 目 ， 各 种 环境 都 是 基于 亚马逊 云 平台 的 ， 不 同 环境 之 
间 相 似 度 非常 高 ， 例 如 操作 系统 版 本 、 负 载 均衡 的 机 器 数量 ， 以 及 预 安装 的 一 些 软件 版 本 等 ， 都 可 自动 化 设置 为 完全 相同 或 者 几乎 完全 相同 ， 这 样 不 同 环境 的 硬件 基础 和 软件 环境 差异 就 很 小 
了 ， 当 系统 出 现 Bug 后 ， 需 要 怀疑 和 排除 的 环境 因素 也 大 大 减少 了 。 








[中 CDN (Content Delivery Network， 内 容 分 发 网 络 ) ， 通 过 在 现 有 的 Internet 中 增加 一 层 新 的 网 络 架构 ， 将 网 站 的 内 容 发 布 到 最 接近 用 户 的 网 络 “边缘 ”， 使 用 户 可 以 就 近 取得 所 需 的 内 容 ， 提 


高 用 户 访问 网 站 的 响应 速度 。 


10.4 产品 环境 和 测试 环境 之 间 基 础 设施 的 差异 造成 的 问题 


在 测试 中 都 提倡 测试 环境 要 尽量 接近 生产 环境 ， 但 是 测试 环境 始终 是 生产 环境 的 简化 版 ， 不 可 能 完全 和 生产 环境 一 样 ， 那 究竟 应 该 在 哪些 方面 和 生产 环境 一 致 ， 而 哪些 方面 允许 和 生产 环 
境 有 差异 呢 ? 小 蔡 在 最 近 的 测试 中 对 此 有 了 更 深入 的 思考 。 








最 近 ， 产 品 在 一 次 上 线 时 失败 了 ， 原 因 是 war 包 不 能 成 功 部 署 。 小 葵 做 测试 的 时 候 在 测试 环境 都 进行 了 部 署 脚 本 的 测试 ， 当 时 并 没有 发 现任 何 问 题 。 














由 于 在 开发 和 测试 环境 都 没有 出 问题 ， 而 只 在 生产 环境 出 了 问题 ， 所 以 开发 人 员 把 问题 初步 定位 在 环境 配置 上 ， 但 是 不 能 确定 究竟 是 项 目 代 码 使 用 的 环境 变量 还 是 系统 使 用 的 依赖 包 等 导 
致 了 问题 。 








在 开发 人 员 花 了 大 量 时 间 进 行 了 详细 调查 之 后 发 现 ， 这 个 问题 是 由 于 生产 环境 使 用 的 JDK (Java SE Development Kit) 版 本 和 开发 、 测 试 环境 使 用 的 JDK 版 本 不 一 致 造成 的 。 





虽然 开发 和 测试 环境 都 已 经 虚拟 化 ， 甚 至 容器 化 了 ， 但 是 对 项 目 代码 依赖 的 底层 软件 版 本 以 及 环境 配置 并 没有 和 人 生产 环境 统一 。 比 如 这 次 就 是 由 于 开发 和 测试 环境 已 经 升级 到 了 JDK 
1.8， 而 生产 环境 还 使 用 的 是 JDK 1.6 导 致 的 。 





开发 人 员 更 新 开发 和 测试 环境 镜像 中 的 JDK 版 本 时 ， 并 没有 想到 更 新 JDK 版 本 会 是 很 大 的 问题 ， 所 以 并 没有 修改 部 署 脚本 去 升级 JDK 版 本 ， 也 没有 通知 整个 团队 JDK 版 本 在 测试 环境 中 被 升 
级 了 。 于 是 当 团队 其 他 成 员 使 用 被 更 新 的 开发 环境 镜像 后 ， 某 个 人 使 用 了 一 些 JDK 1.8 的 新 特性 (比如 Lambda) ， 就 造成 了 在 生产 环境 运行 项 目 代 码 时 出 现 问 题 了 。 























小 蔡 在 测试 部 署 脚本 时 使 用 的 测试 环境 ， 而 这 时 测试 环境 的 JDK 版 本 已 经 被 更 新 了 ， 所 以 不 能 发 现 出 现在 生产 环境 上 的 这 个 问题 。 


这 次 问题 是 由 于 生产 环境 JDK 版 本 较 旧 导致 的 ， 如 果 生产 环境 JDK 版 本 比 开发 和 测试 环境 还 要 新 ,会 怎么 样 ? 小 蔡 通 过 调查 发 现 ， 只 要 是 JDK 的 大 版 本 不 一 样 ， 例 如 JDK 1.6 和 JDK 1.7， 就 
需要 依据 图 10-4 中 的 JDK 版 本 更 新 兼容 性 列表 去 检查 ， 查 看 产品 使 用 的 JDK 版 本 在 变化 后 是 否 会 出 现 兼容 性 问题 。 而 JDK 小 版 本 的 变化 ， 例 如 从 JDK 1.7.0_8 升 级 到 JDK 1.7.0_25 就 不 会 存在 很 
大 的 兼容 性 问题 ( 见 图 10-4) 。 























Change Compatibility ABI Changes’ APlChanges’ 
Binary | Source Medium Medium 
2012-08-28 changelog| 100% | 100% 
2012-08-09 changelog| 100% | 100% 
2012-06-27 changelog| 100% | 100% 
2012-04-12|changelog| 100% | 100% 
|2012-01-20 |changelog| 100% | 100% 
2011-11-17 |changelog| 100% | 100% 
2011-10-03 |changelog| 100% | 100% 
2011-06-27 |changelog| 99.6 史 
2012-04-05|changelog| 100% | 100% 
2012-01-20 changelog| 100% | 100% 
2011-11-10 |changelog| 100% | 100% 
2011-10-03 |changelog| 100% | 100% 
2011-07-19 |changelog| 100% | 100% 
2011-05-04 |changelog| 100% | 100% 
2011-04-14 |changelog| 100% | 100% 
2011-02-02 |changelog| 100% | 100% 
2010-11-12 |changelog| 100% 100% 
2010-09-15 |changelog| 100% | 100% 
2010-06-22|changelog| 100% | 100% 
2010-04-12|changelog| 100% | 100% 
2010-03-09|changelog| 100% 100% 
2009-12-17 |changelog | 9997% 
2009-10-11 |changelog | 99.96% 
2009-07-31 changelog| 100% 
2009-05-21 |changelog| 100% 
2009-03-09|changelog| 100% 
2009-01-17 |changelog| 100% 
2008-11-10 |changelog| 100% 
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图 10-4 JDK 版 本 更 新 兼容 性 列表 





这 次 是 由 于 JDK 大 版 本 升级 时 的 不 兼容 ， 导 致 了 问题 的 暴露 。 但 是 对 于 产品 使 用 的 其 他 工具 和 库 的 版 本 ， 也 需要 查看 是 不 是 不 同 的 版 本 会 引起 兼容 性 问题 。 此 外 还 需要 检查 这 些 产 品 在 底 
层 依赖 库 或 者 工具 更 新 时 ， 是 否 也 需要 同步 进行 更 新 。 例 如 Spring 3 就 不 支持 使 用 JDK 1.8 进 行 编译 和 运行 ， 如 果 产 品 使 用 的 是 Spring 3， 那 么 如 果 开 发 团队 升级 JDK 到 1.8 了 ， 那 就 需要 同时 
升级 Spring 到 支持 使 用 JDK 1.8 的 那个 版 本 。 








这 次 的 问题 让 小 蔡 了 解 到 生产 环境 和 测试 环境 的 不 同 ， 不 仅 可 能 有 之 前 提 到 的 部 署 方式 的 不 同 ， 还 可 能 会 出 现 基础 设施 中 的 环境 变量 或 者 是 依赖 库 的 版 本 不 同 的 情况 。 





除 此 之 外 ， 一 旦 属于 环境 变量 或 者 依赖 库 版 本 引发 的 问题 ， 通 常 非常 难以 追踪 和 定位 。 可 以 参考 DevOps 的 优秀 实践 “基础 设施 即 代码 ”， 如 果 能 把 这 些 环境 配置 通过 部 署 脚本 或 者 版 本 
依赖 脚本 去 自动 化 地 执行 或 者 更 新 ， 会 帮助 项 目 组 更 早 发 现 和 定位 问题 。 








全 展 知识 持续 集成 、 持 续 交付 和 持续 部 团 


# 成 (continuous integration) 是 指 开发 人 员 从 自己 的 开发 分 支 向 产品 代码 主干 进行 交付 ， 频 繁 进行 集成 以 便 更 快 地 得 到 反馈 ， 使 产品 的 问题 ， 尤 其 是 在 开发 过 程 中 最 容易 出 现 的 集成 
间 题 尽早 暴露 出 来 ， 从 而 及 早 改进 可 能 隐藏 的 Bug。 持 续集 成 不 仅 需要 持续 集成 系统 ， 还 需要 建立 合适 的 持续 集成 文化 (比如 代码 质量 管控 、 测 试 文化 等 ) 。 只 有 做 好 持续 集成 ， 才 能 为 持续 
交付 与 持续 部 署 打 好 坚实 基础 。 








付 (continuous delivery) 是 在 持续 集成 的 基础 上 ， 将 集成 后 的 代码 自动 化 地 部 署 到 更 贴近 真实 运行 环境 的 类 生产 环境 (production like envitonments) 中 ， 这 么 做 可 以 让 我 们 持续 验 
证 部 署 脚 本 ， 以 及 我 们 对 于 开发 和 测试 环境 的 控制 能 力 。 不 过 持续 交付 需要 建立 在 高 水 平 自动 化 持续 集成 和 环境 管理 之 上 。 


(continuous deployment) 是 指 当 交 付 的 代码 通过 评审 之 后 ， 自 动 部 署 到 生产 环境 中 。 持 续 部 署 是 持续 交付 的 最 高 阶段 。 这 意味 着 ， 所 有 通过 了 一 系列 自动 化 测试 的 改动 都 将 自动 
部 署 到 生产 环境 ， 它 也 可 以 被 称 为 “Continuous Release”。 持 续 部 署 需要 我 们 对 产品 代码 有 非常 强 的 控制 能 力 ， 因 为 每 一 次 提交 的 代码 都 会 被 部 署 到 生产 环境 。 正 因 如 此 ， 所 以 特性 开关 
(Feature Toggle) 经 常会 伴随 着 持续 部 署 进行 使 用 。 





持续 集成 持续 交付 和 持续 部 署 三 者 的 难度 层 层 升 高 ， 它 们 的 关系 可 以 归纳 为 图 10-5。 


cope Bs BUILD [bw INTEGRATE Es TEST yA DELIVER ys 


Continuous Integration 


Continuous Delivery 


Continuous Deployment 
# 一 -一 





图 10-5 持续 集成 ， 持 续 交 付 和 持续 部 署 之 间 的 关系 





小 莹 最 近 在 测试 环境 测试 部 署 脚本 的 时 候 发 现 脚本 提示 “ 找 不 到 指定 文件 ”错误 ， 但 是 在 指定 的 文件 夹 下 ， 明 明 是 有 文件 存在 的 。 她 怎么 也 想 不 明 白 是 为 什么 ， 于 是 去 找 相 关 的 开发 人 员 
寻求 帮助 。 


开发 人 员 在 开发 机 器 上 跑 同样 的 部 署 脚 本 ， 却 没有 任何 问题 。 
这 让 小 莹 更 疑惑 了 ， 同 样 的 代码 ， 在 开发 和 测试 环境 上 运行 结果 并 不 一 样 ， 那 就 说 明 问题 是 出 现在 环境 上 。 


小 蔡 顺 着 这 个 思路 ， 检 查 了 开发 环境 和 测试 环境 上 JDK 以 及 其 他 依赖 包 和 库 的 版 本 ， 结 果 全 都 是 一 致 的 。 这 就 很 奇怪 了 ， 连 环境 都 是 一 样 的 ， 那 就 更 没有 理由 运行 同样 的 脚本 却 出 错 了 。 
正在 百 思 不 得 其 解 的 时 候 ， 老 牛 又 及 时 出 现 了 。 他 提醒 小 蔡 ， 从 环境 的 角度 出 发 来 看 ， 除 了 软件 本 身 依 赖 的 其 他 软件 以 外 ， 是 不 是 更 深层 次 的 环境 不 一 致 造成 的 呢 ? 比如 说 运行 软件 的 容器 或 
者 操作 系统 什么 的 。 他 注意 到 开发 人 员 使 用 的 是 苹果 的 Mac 电 脑 ， 而 测试 环境 和 生产 环境 使 用 的 都 是 CentOS 操 作 系统 。 会 不 会 是 因为 这 个 原因 造成 脚本 出 错 的 呢 ? 


小 葡 把 老 牛 的 疑问 汇报 给 开发 人 员 ， 然 而 开发 人 员 却 认为 不 可 能 一 一 虽然 Mac 是 BSD 的 分 支 ，CentOSs 是 Linux 的 分 支 ， 但 是 两 者 都 是 继承 自 UNIX 的 系统 ， 不 至 于 有 这 么 大 的 差别 吧 ? 为 
了 保险 起 见 ， 他 们 还 是 决定 一 起 调查 会 不 会 真是 由 于 这 个 原因 才 造 成 这 个 问题 。 





通过 网 上 搜索 ， 小 蔡 他 们 了 解 到 一 个 关键 信息 : Ma 操作 系统 默认 是 不 区 分 字母 大 小 写 的 ， 而 CentOS 是 区 分 的 。 根 据 这 条 线索 ， 他 们 又 再 次 检查 了 出 错 的 信息 ， 信 息 显示 “can'” tfind 
specific file abc.sh”。 于 是 他 们 赶紧 到 测试 环境 中 查看 文件 是 否 真 不 存在 了 。 最 终 他 们 发 现 文件 实际 是 存在 的 ， 然 而 有 意思 的 是 文件 在 CentOS 上 显示 为 Abc.sh，Mac 操 作 系统 上 却 显示 为 


abc.sh。 


为 了 验证 部 署 脚本 出 错 真 的 是 由 于 不 同 操作 系统 上 字母 大 小 写 敏感 的 问题 引起 的 ， 开 发 人 员 修改 脚本 名 称 为 abc.sh， 又 在 CentOS 操 作 系统 上 运行 了 一 次 ， 这 次 部 署 脚本 成 功 完成 了 。 





真是 个 有 意思 的 问题 ! 那么 有 没有 办 法 能 够 彻底 解决 这 个 问题 呢 ? 小 蔡 他 们 又 查找 了 更 多 资料 ， 发 现 根 本 原因 是 Mac 和 CentOS 默 认 分 区 格式 不 同 造成 的 。CentOS 默 认 的 分 区 格式 是 区 
分 字母 大 小 写 的 ， 而 Mac 默 认 的 分 区 是 Mac OS 扩展 (日 志 式 ) ; 如 果 需 要 让 作为 开发 环境 的 Mac 操 作 系统 和 作为 测试 环境 的 CentOSs 一 样 支持 大 小 写 的 话 ， 就 得 转换 分 区 格式 为 Mac OS 扩展 


(区 分 大 小 写 ， 日 志 式 ) ”( 见 图 10-6) 。 


YY Mac OS 扩展 (上 日 志 式 ) 
Mac OS 扩展 (日 ; 襄 式 ， 加 密 ) 
MacOQS 忆 并 [区 4 eT 


Mac OS 扩展 (区 分 大 小 写 ， 日志 式 ， 加 密 ) 
MS-DOS (FAT) 
ExFAT 





图 10-6 Mac 默认 分 区 格式 是 不 区 分 大 小 写 的 





小 莹 建议， 为 了 避免 再 次 出 现 这 种 问题 ， 整 个 项 目 组 中 的 Mac 机 器 的 分 区 格式 都 转换 成 了 Mac OS 扩展 (区 分 大 小 写 ， 日 志 式 ) 。 同 时 ， 她 也 建议 项 目 组 中 规范 各 种 文件 命名 ， 作 为 代码 
的 style check 的 一 部 分 。 这 样 既 能 增强 代码 的 可 读 性 和 一 致 性 ， 又 能 减少 一 些 意外 发 生 的 风险 。 


OR UNIX、BSD、Linux 和 OSX 





(1) UNIX 


UNIX 是 美国 AT&T 公 司 贝 尔 实验 室 在 1969 年 开发 出 来 的 一 种 计算 机 操作 系统 ， 具 有 多 任务 、 多 用 户 的 特征 。UNIX 因 为 其 安全 可 靠 , 高 效 强大 的 特点 在 服务 器 领域 得 到 了 广泛 的 应 用 。 直 
到 GNU/Linux 流 行 开始 前 ，UNIX 也 是 科学 计算 、 大 型 机 、 超 级 计算 机 等 所 用 操作 系统 的 主流 。 现 在 其 仍然 被 应 用 于 一 些 对 稳定 性 要 求 极 高 的 数据 中 心 之 上 。 


(2) BSD 


最 初 AT&T 公 司 以 低廉 甚至 免费 的 许可 将 UNIX 源 码 授权 给 学 术 机 构 做 研究 或 教学 之 用 ， 许 多 机 构 在 此 源码 基础 上 加 以 扩充 和 改进 ， 形 成 了 所 谓 的 “UNIX 变 种 ”， 这 些 变种 反 过 来 也 促进 
了 UNIX 的 发 展 ， 其 中 最 著名 的 变种 之 一 是 由 加 州 大 学 伯克利 分 校 开发 的 伯克利 软件 包 (BSD) 产品 。 后 来 AT&cT 意 识 到 了 UNIX 的 商业 价值 ， 不 再 将 UNIX 源 码 授权 给 学 术 机 构 ， 并 对 之 前 的 
UNIX 及 其 变种 声明 了 版 权 权 利 。 这 一 举措 反而 促使 BSD 在 UNIX 的 历史 发 展 中 产生 了 相当 大 的 影响 力 ， 被 很 多 商业 厂家 采用 ， 成 为 很 多 商用 UNIX 的 基础 。 


(3) Linux 


Linux 是 一 种 自由 和 开放 源 代 码 的 类 UNIX 操 作 系统 。 该 操作 系统 的 内 核 由 林 纳 斯 托 瓦 兹 在 1991 年 10 月 5 日 首次 发 布 。 只 要 遵循 GNU 通 用 公共 许可 证 ， 任 何 个 人 和 机 构 都 可 以 自由 地 使 用 
Linux 的 所 有 底层 源 代码 ， 也 可 以 自由 地 修改 和 再 发 布 。 


(4) OSX 


OS 义 ( 前 称 Mac OS X) 是 苹果 公司 推出 的 一 系列 基于 UNIX 的 图 形 用 户 界面 操作 系统 ， 为 麦 金 塔 电脑 专属 ， 自 2002 年 起 在 所 有 的 Mac 电脑 预 装 。 其 包含 两 个 主要 的 部 分 : 核心 名 为 
Darwin， 是 以 FreeBSD 源 代码 和 Mach 微 核心 为 基础 ， 由 苹果 公司 和 独立 开发 者 社区 协力 开发 ; 及 一 个 由 苹果 电脑 开发 ， 名 为 Aqua 之 专 有 版 权 的 图 形 用 户 界面 。 


虽然 这 几 种 操作 系统 都 是 UNIX 的 变种 ， 但 是 由 于 这 些 系 统 所 采用 内 核 的 开放 性 ， 所 以 它们 自身 的 特性 或 者 说 默认 应 用 提供 的 特性 却 各 不 相同 。 例 如 这 些 操作 系统 可 以 采用 常用 shell 的 任 
何 一 种 (如 ash、bash、ksh、csh、zsh 等 ) 来 提供 基本 类 似 的 功能 ， 但 是 在 一 些 增强 功能 的 支持 上 ， 例 如 对 于 git 的 支持 ， 这 些 shell 又 是 不 同 的 。 这 就 导致 了 开发 人 员 一 旦 利用 了 某 种 操作 系统 ， 
或 者 操作 系统 默认 应 用 提供 的 特性 ， 就 需要 考虑 到 在 别 的 操作 系统 上 是 否 兼容 。 


10.6 ”集成 和 系统 测试 时 使 用 真实 手机 号 


通常 在 测试 过 程 中 ， 尤 其 是 集成 测试 和 系统 测试 过 程 中 ， 测 试 人 员 都 会 使 用 比较 真实 的 信息 进行 测试 ， 以 保证 产品 环境 下 系统 能 够 正常 工作 。 对 于 产品 中 的 短信 验证 功能 ， 小 蔡 也 是 如 此 
进行 测试 的 。 








产品 用 户 在 登录 时 需要 输入 接收 到 的 短信 验证 码 才 可 以 正常 登录 ， 以 及 在 找 回 密码 以 及 修改 用 户 账 户 信息 时 ， 都 需要 通过 短信 接收 验证 码 ( 见 图 10-7) 。 








< 信息 10690 


宁 昼 / 杂 慎 
11 月 绰 目 周二 本 :站 自 


尊敬 的 顾客 ， 请 输 
人 手机 动态 验证 码 : 
032780。 该 验证 码 有 效 期 30 
Gr 只 可 输入 1 次 ， 转 发 无 





图 10-7 手机 短信 了 验证 码 


起 初 在 小 蔡 手 动 测试 这 些 功能 时 ， 为 了 验证 短信 能 成 功 发 送 到 真实 的 手机 上 ， 所 以 使 用 了 自己 的 手机 号 。 在 测试 完毕 所 有 需要 发 送 短信 的 场景 ， 并 且 结果 都 正常 后 ， 小 莹 决定 在 系统 中 更 
换 一 个 手机 号 码 ， 以 免 开发 或 者 产品 经 理 在 使 用 产品 中 ， 把 过 多 的 测试 信息 发 送 到 她 自己 的 手机 上 。 由 于 测试 的 场景 很 多 ， 小 蔡 分 别 建立 了 几 个 测试 账号 ， 并 且 给 这 些 测试 账号 绑 定 了 一 个 新 
的 手机 号 码 。 


























她 首先 尝试 使 用 了 “12345678901” 这样 的 手机 号 作为 测试 系统 中 的 号 码 ， 不 过 由 于 “12345678901” 并 不 是 正常 的 手机 号 码 ， 而 系统 后 台 对 这 样 的 号 码 进行 了 处 理 ， 因 此 业务 流程 无 
法 正常 跑 通 ， 于 是 小 蔡 决 定 绑 定 一 个 真实 的 手机 号 码 ， 这 个 号 码 是 她 自己 之 前 使 用 的 手机 号 ， 但 最 近 几 天 刚刚 销 号 了 ， 号 码 是 “135xxxxxxxx”， 销 号 后 的 号 码 虽 然 无 法 拨打 电话 ， 但 在 
一 段 时 间 内 还 可 以 接收 到 短信 。 




















在 之 后 的 两 个 月 的 手动 测试 过 程 中 ， 这 个 手机 号 都 可 以 正常 执行 测试 ， 不 过 慢 慢 地 大 家 都 忘记 了 这 是 一 个 真实 的 手机 号 ， 而 把 它 当 成 专门 为 测试 而 使 用 的 手机 号 。 甚 至 在 每 次 运行 自动 化 
测试 脚本 的 时 候 ， 由 于 自动 化 测试 脚本 包括 了 测试 短信 验证 的 功能 ， 所 以 这 个 手机 号 也 会 接收 到 短信 。 














在 大 量 的 自动 化 测试 脚本 编写 完毕 并 开始 运行 后 ， 没 过 几 天 产品 组 就 接 到 了 用 户 的 投诉 ,说 是 收 到 了 很 多 垃圾 短信 ， 而 且 运 营 商 也 说 由 于 小 发 短信 要 取消 短信 接口 的 授权 使 用 。 经 过 开发 
团队 排查 ， 才 发 现 投诉 的 用 户 恰巧 使 用 的 是 “135x x x x x x x x” 这 个 手机 号 。 原 来 在 小 蔡 销 号 之 后 ， 过 了 一 段 时 间 ， 这 个 手机 号 被 运营 商 再 次 启用 ， 所 以 这 时 候 所 有 短信 都 发 给 了 这 个 新 用 
户 。 昌 然 短信 内 容 中 没有 指明 具体 的 网 站 ， 但 是 这 位 用 户 通 过 运营 商 查 询 后 ， 找 到 了 使 用 短信 发 送 接口 的 公司 ， 之 后 才 联 系 到 小 蔡 所 在 的 团队 。 























这 位 用 户 描述 说 ， 在 最 开始 一 段 时 间 他 只 是 收 到 了 零星 的 短信 ， 以 为 是 诈骗 短信 ， 没 有 理 皮 (实际 上 这 段 时 间 是 手工 测试 为 主 ， 而 自动 化 测试 脚本 比较 少 。 在 手动 测试 时 发 送出 的 短信 数 
量 比较 少 ) ， 但 是 最 近 这 位 用 户 每 天 都 要 收 到 大 量 验证 短信 ， 以 至 于 很 多 时 间 他 都 不 能 正常 使 用 手机 ， 所 以 才 进 行 投诉 。 这 背后 的 原因 是 最 近 这 段 时 间 里 ， 项 目 组 每 次 提交 代码 时 ， 都 会 自动 
在 持续 集成 的 环境 中 运行 所 有 自动 化 测试 脚本 ， 每 天 的 开发 提交 次 数 都 会 比较 多 ， 所 以 用 户 收 到 了 大 量 的 短信 。 
































为 了 解决 这 样 的 问题 ， 开 发 团队 购买 了 最 低 套 餐 费用 的 手机 号 ， 接 着 把 所 有 测试 短信 的 手机 号 都 改 成 了 这 个 新 的 手机 号 码 ， 这 样 就 避免 了 把 大 量 短信 发 送 到 用 户 手机 上 的 问题 。 








10.7 一 个 由 A/B 测 斌 引出 的 Bug 











又 一 款 新 产品 部 署 上 线 了 ! 这 款 产品 使 用 了 新 的 界面 风格 ， 为 了 验证 新 界面 是 否 受 欢迎 ， 开 发 人 员 使 用 了 Optimizely 的 A/B 测 试 工具 ， 它 可 以 控制 一 半 用 户 应 用 旧 界 面 ， 另 一 半 用 户 应 用 
新 界面 ， 同 时 统计 两 组 用 户 在 两 种 界面 上 所 进行 的 操作 。 


(1) 惊喜 ， 页 面 点 击 超过 5 万 次 


产品 上 线 后 ， 短 短 十 多 天 ， 页 面 点 击 数 就 超过 了 5 万 次 ， 如 图 10-8 所 示 。 
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图 10-8 ” ”Optimizely 统 计 的 A/B testing 访 问 结 果 





看 到 这 组 数字 ， 小 莹 一 组 人 相当 高 兴 。 原 因 是 : 




















1) 通过 两 组 用 户 访问 数据 对 比 ， 看 到 不 同 页 面 给 用 户 带 来 的 体验 差异 ， 以 及 哪些 功能 更 易 得 到 用 户 的 喜欢 和 使 用 。 




















2) 新 上 线 页 面 的 浏览 量 ， 让 大 家 很 有 成 就 感 。 











(2) 5 万 次 的 浏览 量 会 有 水 分 吗 








小 蔡 私 下 和 大 家 讨论 时 ， 曾 对 这 个 数字 心 存疑 惑 ; 新 上 线 的 产品 只 有 一 个 页 面 ， 而 且 只 和 
来 看 ， 狐 似 这 个 访问 量 是 有 问题 的 。 然 而 对 此 疑惑 ， 小 蔡 并 没有 深入 挖掘 ! 
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有 户 搜索 到 特定 的 过 滤 条 件 后 ， 才 会 显示 出 来 。 以 该 网 站 的 整个 访问 量 除 以 主要 过 滤 条 件 的 数量 














很 快 小 蔡 他 们 收 到 Optimizely 公 司 的 续费 通知 邮件 ， 因 为 现 有 用 户 级 别 最 多 支持 两 万 次 点 击 ， 多 出 的 三 万 点 击 量 是 要 付费 的 。 











这 时 一 位 在 该 项 目 工 作 了 4 年 的 同事 发 了 一 封 邮件 给 大 家 : 


“我 不 太 相信 这 个 统计 数字 是 真 的 。 我 刚刚 查看 了 Optimizely 的 报表 ， 注 意 到 在 当前 15271 个 独立 IP 访 问 中 ， 有 15181 个 是 从 手机 设备 上 访问 的 。 这 个 数据 让 我 想起 上 周 五 给 手机 版 网 站 
修改 过 代码 ， 明 显 这 次 修改 的 代码 出 现 了 Bug。 我 们 需要 修复 手机 版 网 站 上 的 ajax call 逻 辑 。 我 将 建 一 张 卡 去 做 这 件 事情 。 














她 认为 Optimizely 的 统计 数据 有 问题 ， 这 和 小 蔡 心 里 的 疑惑 对 接 上 了 。 





随后 这 位 同事 建 了 一 张 Bug 卡 去 跟踪 : 





“我 怀疑 任何 时 候 当 我 们 调用 “window.optimizely.push (["activate"，${_optimizely-Experimentld}j]) ; ，Optimizely 将 把 它 记 录 为 一 次 独立 的 IP 访 问 。 我 们 可 以 在 测试 环境 去 验 
证 。 














我 们 需要 修改 页 面 加 载 和 ajaxComplete 事 件 ， 让 Optimizely 只 在 使 用 了 特定 搜索 条 件 并 成 功 显示 出 A/B 测 试 结果 时 ， 才 被 记录 为 一 次 访问 。” 














(3) 事实 证 明 ， 确 实 如 此 ! 大 大 的 Bug 一 个 ! 











Bug 修 复 后 小 蔡 进 行 了 验证 : 























1) 在 测试 环境 进行 Bbug 的 重 现 。 步 又 如 下 ， 用 手机 打开 网 页 ， 清 除 所 有 缓存 (模拟 独立 IP 的 访问 ) ， 在 查询 页 面 搜索 任意 条 件 ， 点 击 任意 结果 查看 详细 页 面 ， 最 终 Optimizely 页 面 都 会 
增加 统计 数据 。 











这 明显 是 不 对 的 。 只 有 搜索 出 新 产品 的 那个 页 面 (或 者 点 击 进入 详细 信息 页 面 ) ， 才 应 该 被 Optimizely 记 录 。 














2) 在 部 署 新 代码 的 测试 环境 下 验证 Bug， 确 定 已 被 修复 : 只 有 使 用 特定 的 过 滤 条 件 进行 搜索 ， 而 且 搜 索 结果 中 包含 新 上 线 的 产品 时 ， 才 会 被 Optimizely 记 录 为 新 增 的 点 击 量 。 








3) 将 Optimizely 上 之 前 的 统计 环境 删除 ， 新 建 一 个 统计 环境 ， 以 便 得 到 用 户 搜索 操作 的 真实 数据 。 























这 次 的 Bug 事 件 提醒 了 小 莹 ， 要 相信 自己 的 直觉 和 逻辑 判断 ， 这 不 光 可 以 缩短 项 目的 开发 时 间 ， 还 能 为 公司 减少 额外 开支 (Optimizely 公 司 对 额外 三 万 点 击 量 所 要 求 的 费用 ) 。 

















当 发 觉 统计 数据 不 合理 时 ， 可 以 及 时 通过 网 站 的 历史 访问 数据 ， 推 算出 新 产品 用 户 访问 量 的 大 概 数据 。 这 个 数据 有 一 个 合理 的 区 间 范 围 ， 如 果 偏 离 这 个 区 间 过 大 ， 就 要 分 析 讨论 统计 数据 
是 否 存在 问题 。 


it 展 #0 A/B 测 二 





A/B 测 试 就 是 针对 同一 个 问题 ， 形 成 两 种 (其 至 更 多 ,但 绝 大 多 数 是 两 种 ) 解决 方案 ， 之 后 把 用 户 分 组 ， 为 不 同 组 的 用 户 推送 不 同 的 解决 方案 ， 观 察 、 统 计 和 分 析 用 户 的 喜好 ， 从 而 选 出 
更 适合 用 户 的 解决 方案 的 办 法 。 因 为 我 们 知道 在 进行 用 户 测试 的 时 候 ， 通 常用 户 并 不 了 解 自己 真正 需要 什么 ， 只 有 当 实际 使 用 产品 时 ， 用 户 才能 确定 喜好 。 正 是 基于 这 样 的 原因 ，A/B 测 试 才 


会 在 更 注重 用 户 体验 的 互联 网 环境 下 变 得 通用 。 
但 是 对 于 A/B 测 试 ， 不 同 的 解决 方案 更 多 的 是 界面 展示 的 不 同 ， 而 非 后 台 系 统 实现 的 不 同 。 


为 了 配合 A/B 测 试 的 使 用 ， 对 用 户 在 不 同 解决 方案 下 的 使 用 行为 也 需要 进行 统计 和 分 析 ， 从 而 为 决定 采取 哪 种 解决 方案 提供 数据 支撑 。 同 时 A/B 测 试 也 对 运 维 提出 了 新 的 挑战 ， 因 为 需要 
在 线 上 环境 进行 灰 度 发 布 ， 并 且 对 于 不 同 用户 推 送 不 同 的 解决 方案 ， 在 确定 解决 方案 后 ， 还 需要 销毁 被 弃 用 的 解决 方案 等 。 


目前 比较 著名 的 A/B 测 试 工具 有 : Google 提 供 的 Google Website Optimizer、Optimizely 公 司 提供 的 A/B 测 试 工具 等 。 


10.8 ”隐身 的 特殊 字符 


项 目 最 近 部 署 新 版 本 到 产品 环境 ， 不 久 便 发 现 了 一 个 特殊 字符 引起 的 Bug， 这 个 字符 不 光 “ 特 殊 ”， 它 还 会 “隐身 ”! 隐身 的 字符 ， 是 如 何 被 发 现 的 呢 ? 


某 一 天 ， 资 深 QA 老 牛 在 产品 环境 日 志 中 发 现 了 很 多 404 Not Found 的 记录 。 这 类 记录 有 可 能 是 用 户 手工 输入 了 错误 URL， 例 如 把 URL 从 当前 页 第 4 页 改 成 不 存在 的 第 15 页 ， 后 台 系统 便 会 
返回 404 Not Found 来 告诉 用 户 这 个 页 面 不 存在 。 而 此 类 操作 在 日 访问 量 几 十 万 的 网 站 上 是 很 容易 出 现 的 ， 所 以 通常 1T 运 维 人 员 是 不 会 关注 的 。 











1. 老 牛 为 什么 会 注意 到 这 个 











细心 的 老 牛 发 现 近日 这 个 错误 出 现 了 很 多 次 ， 其 中 有 一 天 出 现 此 类 事件 的 频率 非常 高 。 图 10-9 是 产品 日 志 监 控 软件 Splunk 的 查询 结果 截图 ， 具 体 某 天 的 出 错 量 一 目 了 然 ， 用 心 看 ， 往 往 
能 发 现 这 两 点 。 

















1) 之 前 也 有 过 类 似 的 404 Not Found 返 回 结果 。 
2) 蓝 框 区 域 显 示 的 是 发 现 Bug 当 天 的 结果 ， 这 一 天 记录 最 多 。 


小 获 补 充 一 句 : 右 侧 空白 区 域 是 修复 Bug 后 ， 表 示 该 问题 没有 再 大 量 出 现 。 


Format Timeline v — Zoom Out 





图 10-9 产品 日 志 监 控 软 件 Splunk 的 查询 结果 截图 


2. 这 是 哪儿 的 Bug 


在 Splunk 日 志 监 控 软 件 中 可 以 看 到 每 条 报错 的 详细 日 志 ， 如 用 户 打开 哪些 URL 后 出 现 了 错误 。 老 牛 把 日 志 中 用 户 打开 并 报错 的 URL 在 手机 版 网 站 打开 后 ， 结 果 报错 404 Not Found， 但 在 
电脑 版 网 页 打开 却 能 正常 显示 ， 因 此 断定 这 是 一 个 手机 版 网 站 的 Bug。 














老 牛 把 这 个 Bug 报 给 开发 人 员 后 ， 很 快 就 找到 了 原因 : 这 是 页 面 中 一 段 描述 文字 引起 的 前 台 解 析出 错 。 








页 面 中 这 段 描述 文字 较 长 ， 很 难 快速 定位 出 有 问题 的 字符 。 于 是 使 用 二 分 法 ， 从 中 截断 整个 字符 串 后 进行 解析 ， 找 到 出 错 的 那 一 部 分 ， 接 着 把 剩 下 的 字符 串 再 平分 成 两 段 寻 找 错误 ， 最 终 
定位 到 “usersto” 这 个 字符 串 。 但 令 人 奇怪 的 是 这 个 字符 串 是 标准 的 ASClI 码 ， 不 应 出 现 错误 。 之 后 ， 开 发 人 员 又 把 这 个 字符 串 拷贝 到 文本 编辑 器 中 ， 用 键盘 移动 光标 ， 无 意 中 发 现 
在 “t” 之 前 ， 按 下 键盘 后 光标 没有 移动 ， 需 要 按 第 二 次 ， 光 标 才能 移动 到 下 一 个 字符 。 这 说 明 在 “t” 之 前 可 能 隐藏 了 一 个 字符 ， 最 后 发 现 这 个 特殊 字符 是 “\u2028”。 用 TextMate 文 本 编 
辑 器 很 容易 找 出 这 类 特殊 字符 ， 如 图 10-10 所 示 。 
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图 10-10 TextMate 文 本 编辑 器 的 显示 结果 


最 终 ， 经 过 分 析 发 现 这 个 前 台 解 析 错 误 是 由 两 个 特殊 字符 造成 的 : “u2028” 和 “\u2029”， 而 这 个 从 直观 上 是 根本 发 现 不 了 的 。 


3 这 个 Bug 是 怎么 出 现 的 


(1) Bug 漏 测 原因 





这 个 Bug 特 喜欢 有 特殊 字符 的 页 面 ， 而 测试 环境 中 使 用 的 测试 数据 ， 即 使 和 产品 环境 数据 相同 ，QA 往 往 只 会 点 击 最 多 几 十 个 页 面 ， 过 程 中 很 难 发 现 这 个 Bug， 因 此 靠 手工 测试 来 预防 是 比 
较 难 的 。 

















较 理想 的 方法 是 增加 在 线 预警 机 制 ， 对 突 发 大 量 异 常 日 志 进行 报警 。 项 目 现 有 的 在 线 预 警 机 制 ， 是 当 服务 器 端 返 回 500 Internal Server Error 后 ， 触 发 邮件 和 短信 等 提醒 运 维 团队 。 但 对 
404 Not Found 这 种 可 能 由 用 户 正常 操作 引起 的 错误 ， 目 前 是 没有 报警 的 。 





(2) 增加 在 线 自动 监控 报警 








小 蒙 和 研发 讨论 后 ， 认 为 需要 增加 对 404 Not Found 类 型 错误 的 报警 。 但 不 是 针对 每 次 错误 都 报警 ， 而 是 当 这 种 类 型 错误 一 天 内 多 次 发 生 、 超 过 特定 立 值 后 报警 : 比如 一 天 内 发 生 了 上 百 
次 后 便 触 发 报警 。 这 样 可 以 有 效 避 免 某 一 次 用 户 错误 操作 而 产生 的 无 用 报警 信息 。 这 里 需要 提醒 开发 和 运 维 人 员 ， 同 一 错误 短 时 间 内 出 现 多 次 ， 就 有 查 明 原 因 的 必要 了 。 















































(3) 说 说 解析 字符 串 这 种 程序 错误 


解析 字符 串 这 种 程序 错误 ， 为 什么 不 报 500 Internal Server Error， 却 报 了 404 Not Found， 是 不 是 程序 的 返回 值 设 置 错误 ， 或 者 又 是 一 个 Bug? 





“解析 字符 串 这 种 程序 错误 ， 报 了 404 页 面 没有 找到 的 错误 ， 是 不 是 应 该 抽出 500 Internal Server Error? ”小 蔡 问 自己 。 带 着 这 个 问题 ， 小 蔡 恶 补 了 HTTP 状 态 码 ， 才 明白 过 来 这 是 程序 
内 部 异常 现象 。 











通常 500 Internal Server Error， 代 表 服 务 器 端 发 生 了 错误 。 而 这 个 Bug 中 ， 后 台 是 可 以 正常 处 理 请 求 的 ， 并 且 把 字符 串 正常 返回 给 前 台 ， 因 此 不 是 服务 器 端 发 生 了 错误 ， 不 应 该 是 500 


Internal Server Error。 





404 Not Found， 则 表示 请 求 失败 ， 请 求 所 希望 得 到 的 资源 未 被 在 服务 器 上 发 现 。 而 这 里 实际 上 是 前 台 对 解析 字符 串 异 常 ， 并 不 是 请 求 失败 ! 为 什么 是 404 Not Found 错 误 呢 ? 








于 是 ， 小 蔡 同 开发 一 起 查看 这 部 分 相关 代码 ， 找 到 了 显示 404 Not Found 的 原因 ， 界 面 的 伪 代 码 如 下 : 




















<script> 
url endpoint = ‘http://api.xxx.xx’; 
pageData = {“status”:200}; 
</script> 








该 项 目 是 用 React.js 写 的 ， 因 此 有 两 种 请 求 页 面 方式 : 前 台 请 求 和 后 台 请 求 。 在 上 面 的 代码 中 ， 第 一 行 是 前 台 请 求 的 URL， 第 二 行 是 这 次 解析 出 错 的 地 方 。 实 际 上 在 第 二 行进 行 解析 出 错 
， 第 一 行 的 URL 的 值 也 被 清空 了 。 而 Reactjs 在 这 里 有 个 机 制 ， 如 果 第 二 行 的 数据 解析 出 错 ， 就 会 重新 从 前 台 做 一 次 请 求 。 




















也 

















404 Not Found 就 是 在 使 用 第 一 行进 行 重新 发 请 求 时 出 现 的 ， 因 为 第 一 行 的 值 这 时 已 被 清空 ， 无 法 找到 正确 的 URL， 因 此 返回 404 Not Found 表 示 资 源 未 在 服务 器 上 发 现 。 

















明白 这 个 代码 逻辑 后 ， 就 可 以 解释 在 Splunk (一 个 托管 的 日 志文 件 管理 工具 ) 日 志 中 看 到 404 Not Found 是 正常 的 ， 不 用 新 建 Bug 卡 去 修改 HTTP 返 回 的 状态 码 了 ! 

















(4) 研发 的 修复 方式 是 否 合理 











测试 人 员 需 要 和 研发 讨论 代码 的 修复 方式 ， 以 确定 测试 人 员 如 何 做 回归 测试 。 在 本 文 这 个 例子 中 ， 研 发 的 修改 方式 是 在 页 面 中 通过 代码 ， 找 出 返回 字符 串 中 的 那 两 个 特殊 字 ， 用 字符 串 蔡 
换 功 能 改 为 合法 字符 串 。 但 问题 是 如 果 页 面 中 还 有 第 三 种 特殊 字符 给 程序 造成 异常 ， 那 就 仍 有 可 能 出 现 此 类 解析 Bugl! 












































了 解 研发 的 修改 方式 后 ， 小 莹 提出 了 自己 的 顾虑 。 对 此 ， 开 发 人 员 表 示 ， 事 实 上 只 有 这 两 个 特殊 字符 会 被 解析 失败 ， 网 上 已 经 有 文章 详细 讲述 过 这 个 问题 ， 是 由 于 使 用 Reactjs 这 个 解析 
API 出 现 的 特定 问题 ， 之 前 没有 做 对 应 的 修复 ， 这 次 修复 只 需要 替换 这 两 个 特殊 字符 即 可 。 


























本 展 和 i “HTTP 状态 三 





HTTP 状 态 码 (HTTP Status Code) 是 指 表示 服务 器 HTTP 响 应 状态 的 3 位 数字 代码 。 它 的 作用 在 于 使 客户 端 程序 快速 通过 服务 器 返回 的 状态 ， 决 定 下 一 步 要 如 何 处 理 。 因 为 由 于 网 络 延迟 、 
服务 器 内 部 错误 等 各 种 原因 ， 都 可 能 导致 客户 端 发 送 的 请 求 得 不 到 正确 的 响应 ， 但 是 这 些 错 误 原因 千差万别 ， 如 果 一 一 处 理 很 不 现实 ， 所 以 更 有 效 的 方式 是 把 它们 分 组 归 类 ， 利 用 统一 的 状态 
码 进 行 标记 ， 这 样 客户 端 就 可 以 根据 状态 码 进行 处 理 了 。 


HTTP 状 态 码 可 以 分 为 5 大 类 。 


1) 1xx 仅 仅 是 作为 通知 的 消息 ， 例 如 102 Processing。 这 一 类 型 的 状态 码 ， 代 表 请 求 已 经 被 接受 ， 需 要 继续 处 理 。 由 于 HTTP/1.0 协 议 中 没有 定义 任何 1xx 状 态 码 ， 所 以 除非 在 菜 些 试验 条 件 
下 ， 服 务 器 禁止 向 此 类 客户 端 发 送 1xx 响 应 。 这 些 状态 码 代表 的 响应 都 是 临时 的 ， 表 示 客 户 端 应 该 采取 其 他 行动 。 


2) 2xx 是 代表 请 求 成 功 ， 例 如 200 OK。 这 一 类 型 的 状态 码 ， 代 表 请 求 已 成 功 被 服务 器 接收 、 理 解 并 接受 。 


3) 3x 是 代表 HTTP 重 定向 ,例如 301 Moved Permanently。 这 类 状态 码 代 表 需 要 客户 端 采 取 进 一 步 的 操作 才能 完成 请 求 。 通 常 ， 这 些 状 态 码 用 来 重 定向 ， 后 续 的 请 求 地 址 ( 重 定向 目标 ) 在 
本 次 响应 的 Location 域 中 指明 。 


4) 4xx 是 代表 客户 端 导 致 的 错误 ， 例 如 404 Not Found。 这 类 的 状态 码 代 表 客 户 端 发 生 的 错误 妨碍 了 服务 器 的 处 理 。 


5) 5xx 是 代表 服务 器 导致 的 错误 ， 例 如 500 Internal Server Etror。 这 类 状态 码 代 表 服 务 器 在 处 理 请 求 的 过 程 中 有 错误 或 者 异常 状态 发 生 ， 当 然 也 有 可 能 是 服务 器 当前 的 软 硬 件 资源 无 法 完成 
对 请 求 的 处 理 。 


10.9 邮件 发 送 不 出 去 了 








“邮件 发 送 不 出 去 ”这 个 问题 多 数 人 在 日 常生 活 中 都 碰 到 过 ， 但 是 一 般 来 说 都 是 由 于 网 络 环境 不 稳定 等 因素 引起 。 发 送 邮件 这 一 功能 对 网 站 来 说 至 关 重 要 ， 所 以 如 果 网 络 环境 良好 ， 邮 件 
还 发 不 出 去 ， 这 就 太 令 人 焦 心 了 。 














1. 小 莹 ， 邮 件 发 不 出 去 啦 




















最 近 ， 小 莹 所 在 的 项 目 由 六 位 研发 人 员 耗 时 5 个 月 研发 的 手机 版 网 站 整体 上 线 了 ， 也 就 是 说 ， 这 个 项 目 开 发 的 手机 版 网 站 是 第 一 次 被 真实 用 户 访问 。 

















产品 上 线 第 二 天 ， 组 内 一 位 开发 人 员 发 现在 测试 环境 中 发 送 邮件 会 出 现 错误 提示 信息 。 发 送 邮件 功能 对 这 个 房产 网 站 非常 重要 ， 因 为 用 户 如 果 在 网 站 上 发 现 中 意 的 房产 ， 他 需要 通过 电话 
或 者 邮件 才能 联系 房产 代理 人 。 那 就 意味 着 如 果 邮 件 发 送 不 出 去 ， 那 整个 业务 流程 就 中 断 了 。 
































小 莹 作为 组 内 的 QA 对 此 很 疑惑 。 因 为 她 确信 没有 漏 测 网 站 最 基本 的 邮件 发 送 功能 。 那 这 个 Bug 会 不 会 只 存在 测试 环境 中 ， 在 产品 环境 反映 是 好 的 呢 ? 通过 验证 ， 小 蔡 在 产品 环境 上 也 











Moll 














现 了 这 个 Bug! 


2. 到 底 是 什么 原因 导致 邮件 不 能 发 送 














那 到 底 是 什么 原因 导致 邮件 不 能 发 送 呢 ? 研发 人 员 很 快 定位 了 问题 原因 : 发 送 邮 件 的 URL 最 近 被 修改 了 ， 将 HTTP 改 为 HTTPS。 研 发 人 员 通 过 最 近代 码 库 修改 日 志 发 现 ， 这 个 修改 是 一 周 
前 由 客户 方 ( 在 另外 一 个 城市 ) 的 技术 负责 人 引入 的 ， 然 后 造成 邮件 不 能 发 送 。 既 然 定位 到 了 问题 ， 研 发 人 员 快速 修复 了 代码 ， 及 时 部 署 到 产品 环境 ， 邮 件 发 送 功能 终于 正常 了 。 








3. 我 们 来 竹 一 狂 ， 这 个 Bug 谁 来 负责 





对 于 这 个 Bug， 大 家 可 能 会 觉得 是 测试 工作 做 得 不 到 位 ， 或 者 说 代码 被 修改 后 ， 较 长 时 间 内 没有 做 回归 测试 而 引起 的 。 听 起 来 ， 责 任 在 测试 方 ! 














其 实 不 然 ， 在 敏捷 团队 ， 通 常 一 个 QA 需要 测试 7 ~ 10 个 开发 人 员 所 开发 的 新 功能 ， 而 这 些 新 功能 测试 占据 了 QA 大 部 分 时 间 ， 只 剩 下 一 小 部 分 时 间 用 来 做 回归 测试 。 况 且 ， 一 个 开发 了 近 
半年 的 产品 ， 功 能 点 会 有 很 多 ， 只 依赖 于 QA 每 次 做 全 面 的 回归 测试 基本 上 是 不 现实 的 ， 当 然 如 果 有 一 些 自动 化 测试 脚本 来 帮助 QA 做 回归 测试 那 确实 有 很 大 的 帮助 。 
































4 预防 Bug 是 重 中 之 














经 过 这 次 事件 ， 小 莹 更 加 明白 老 牛 一 直 讲 的 预防 Bug 的 重要 性 ， 那 小 蔡 所 在 项 目 怎么 做 的 呢 ? 


(1) 增加 UI 层 的 自动 化 测试 





开发 人 员 和 测试 人 员 结 对 给 发 送 邮 件 功 能 增加 了 UI 层 的 测试 ， 也 就 是 使 用 Selenium 通 过 操控 HTML 界 面 元 素 的 方式 ， 模 拟 用 户 在 页 面 上 的 点 击 和 其 他 操作 来 实现 自动 化 测试 。 那 为 什么 之 
前 没有 给 这 个 场景 增加 测试 用 例 ? 参与 过 项 目 开 发 的 人 都 有 过 这 样 的 体验 ， 对 已 有 产品 做 修改 的 项 目 ， 由 于 产品 已 被 用 户 使 用 ， 所 以 产品 的 质量 和 稳定 性 优先 级 很 高 ， 此 时 需要 较 好 的 自动 化 
测试 用 例 进行 全 面 覆 盖 ; 而 对 一 些 全 新 产品 ， 尤 其 在 第 一 阶段 ， 比 起 质量 和 稳定 性 ， 团 队 更 关心 用 户 的 接受 度 和 喜欢 度 ， 更 希望 能 够 快速 实现 关键 用 户 使 用 场景 并 上 线 去 获取 用 户 反 馈 。 因 
此 ， 界 面 端的 自动 化 测试 在 这 个 阶段 上 的 优先 级 会 降低 一 些 。 


























































































































(2) 使 用 React.js 框 架 
























































研发 团队 在 项 目 中 使 用 了 Reactjs 框 架 ， 它 的 单元 测试 框架 可 以 测试 界面 元 素 的 变动 ， 因 此 单元 测试 可 以 涵盖 一 些 之 前 只 能 在 UI 层 自动 化 测试 层 才 做 的 事情 。 例 如 Reactjs 的 单元 测试 可 以 
判断 页 面 某 个 CSs 的 改变 状态 ， 但 有 个 问题 是 它 更 偏向 于 测试 单个 功能 模块 ， 缺 少 对 页 面 上 多 个 步骤 的 联 调 测试 ， 而 UI 测 试 恰好 可 以 弥补 这 个 缺失 (如 测试 类 似 发 送 邮件 流程 这 样 的 场景 是 否 
正常 ) 。 





















































所 以 ， 研 发 团队 在 单元 测试 覆盖 率 上 做 到 了 大 约 80%， 同 时 完善 了 UI 层 的 自动 化 测试 。 这 样 ， 小 蔡 就 被 从 枯燥 乏味 的 机 械 性 劳动 中 部 分 解放 了 出 来 ， 她 再 也 不 用 为 此 拍 着 脑袋 高 呼 “ 路 漫 


漫 其 修 远 兮 ”了 ! 





人 Rnina Selenium 





Selenium 是 一 个 用 于 Web 应 用 程序 进行 验收 测试 的 工具 。Selenium 测 试 直接 在 浏览 器 中 运行 ， 模 拟 真实 用 户 进行 操作 。Selenium 运 行 在 各 种 主流 浏览 器 上 。Selenium 已 经 和 WebDriver 合 并 ， 
并 形成 了 Web 甚 至 是 Mobile 测 试 以 及 开发 的 业界 标准 。 


人 @Rnine HTrps 





HTTIP 协 议 广 泛 应 用 于 Web 浏 览 器 和 网 站 服务 器 之 间 传 递 信息 。 但 HTTP 协 议 以 明文 方式 发 送 内 容 ， 不 提供 任何 方式 的 数据 加 密 ， 如 果 攻击 者 截取 了 Web 浏 览 器 和 网 站 服务 器 之 间 的 传输 报 
文 ， 就 可 以 直接 读 懂 其 中 的 信息 ， 因 此 HTTP 协 议 不 适合 传输 一 些 敏感 信息 ， 比 如 信用 卡 卡 号 、 密 码 等 。 


为 了 解决 HTTP 协 议 的 这 一 缺陷 ， 需 要 使 用 另 一 种 协议 : HTTPS。HTTPS 在 HTTP 的 基础 上 加 入 了 SSL 协 议 (实现 方面 则 是 在 HTTP 下 加 SSL 层 ) ， 使 用 SSL 通 过 证 书 来 验证 服务 器 的 身份 ， 
并 为 浏览 器 和 服务 器 之 间 的 通信 加 密 。 


简 言 之 ，HTTPS 是 以 安全 为 目标 的 HTTP 通 道 ， 是 HTTP 的 安全 版 。 


10.10 “广告 条 在 三 种 浏览 器 上 骨 溃 了 


站 





小 莹 所 在 项 目 组 由 两 个 团队 组 成 : 一 个 国内 团队 和 一 个 国外 团队 。 周 一 早上 ， 国 外 项 目 组 交付 组 长 部 署 了 新 版 本 的 手机 版 网 站 。 而 就 在 周二 ， 团 队 从 产品 在 线 监控 软件 中 发 现 了 很 多 报警 
信息 : 新 版 本 上 线 后 ， 有 三 种 浏览 器 无 法 进行 正常 查询 操作 ， 也 就 是 当 用 户 从 首页 点 击 查询 按钮 后 ， 会 出 现 HTTP 500 ERROR 并 导致 页 面 无 法 打开 。 



























































1.QA! 呼叫 QA 


先 交 代 下 背景 : 在 项 目 开始 的 时 候 ， 作 为 组 内 的 QA， 小 蔡 帮 助 组 内 决定 产品 需要 支持 的 浏览 器 类 型 列表 。 这 次 项 目 组 开发 的 产品 是 对 原 有 手机 版 网 站 的 改版 ， 因 此 可 以 通过 使 用 原 有 产 
品 的 Omniture (一 个 Web 分 析 与 网 站 统计 服务 工具 ) 统计 历史 产品 数据 来 进行 分 析 判 断 新 产品 需要 支持 哪些 浏览 器 。 小 蔡 登 录 到 Omniture 统 计 平台 ， 选 择 近 3 个 月 的 手机 用 户 数据 进行 过 
滤 ， 产 生 了 所 有 手机 浏览 器 的 使 用 情况 列表 。 

















这 个 浏览 器 列表 列 出 了 很 多 浏览 器 类 型 ， 小 莹 决定 只 关注 前 10 种 ， 因 为 她 发 现 90% 的 最 终 用 户 都 在 使 用 这 前 10 种 浏览 器 ， 也 就 是 说 ， 如 果 这 些 浏览 器 在 新 项 目 中 被 支持 ， 基 本 可 以 断定 
90% 以 上 用 户 能 够 正常 使 用 该 软件 。 在 这 前 10 种 浏览 器 中 ， 对 于 有 些 版 本 号 非常 接近 的 浏览 器 类 型 ， 例 如 Chrome 47 和 48， 可 以 合并 成 Chrome 48， 在 实际 测试 时 通常 只 测试 其 中 一 种 即 
可 。 需 要 注意 的 是 ， 这 个 浏览 器 排名 列表 需要 定期 更 新 ， 这 样 可 以 让 开发 投入 和 产 出 比 相对 较 好 。 

















通过 查阅 Omniture 数 据 ， 小 葡 最 终 决 定 在 这 些 浏览 器 上 测试 新 版 本 产品 : 


.Chrome 28、34、48 (基于 Android 系 统 ) ; 


Chrome 48 (基于 iOS 系 统 ) ; 
.Safari 7、8、9; 


* Android Native Browser 4.0。 


小 莹 发 现 这 次 发 生产 品 环境 预警 的 浏览 器 包括 Chrome 28、Safari 7 和 Android native browser 4.0 这 三 种 浏览 器 ， 小 蔡 通 过 重 现 发 现 确 实在 这 三 种 浏览 器 上 页 面 出 现 崩 演 了 。 





小 莹 一 惊 ， 这 让 她 想起 来 前 不 久 她 建 的 一 张 Bug 卡 ， 那 张 卡 正 是 关于 在 这 三 种 浏览 器 上 手机 端 广告 条 不 能 正常 显示 。 这 个 卡 应 该 没有 被 修复 ， 按 理 说 这 个 广告 条 功能 是 不 能 被 部 署 到 产品 
环境 的 ， 难 道 是 部 署 过 程 中 出 错 了 吗 ? 





2. 部 署 过 程 中 所 涉及 的 行为 








1) 项 目 组 每 两 周 会 把 新 开发 的 功能 模块 部 署 到 产品 环境 中 ， 通 常情 况 下 ， 部 署 工作 会 定 在 周一 ， 这 样 一 旦 上 线 后 出 
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由 异常 ， 


辐 








队 可 以 及 时 撤销 纠正 。 























2) 原则 上 说 ， 团 队 所 有 开发 人 员 都 有 权限 部 署 产品 环境 ， 并 且 部 署 过 程 中 严格 按照 流程 执行 ， 比 如 需要 先 写 审批 文档 等 。 











3) 小 莹 所 在 项 目 组 的 部 署 工作 ， 有 时 由 国外 团队 进行 ， 有 时 则 由 国内 团队 进行 。 














3. 这 次 出 错 原因 究竟 在 哪里 呢 








小 蒙 在 测试 过 程 中 所 测试 的 内 容 和 上 线 后 产品 并 不 同 ， 小 蒙 当时 测试 的 是 基于 开发 给 的 一 个 URL， 是 一 个 独立 页 面 ， 专 门 用 来 测试 广告 条 功能 。 正 是 在 这 个 页 面 中 小 蔡 测 试 发现 有 三 个 浏 
览 器 无 法 正常 显示 广告 条 ， 显 示 的 是 空白 的 页 面 ， 但 是 可 以 确定 的 是 ， 页 面 上 不 会 出 现 HTTP 500 ERROR 信 息 。 针 对 这 个 问题 小 蔡 也 新 建 了 一 张 Bug 卡 去 跟踪 。 



























































后 来 ， 当 广告 条 被 集成 到 房产 列表 后 ， 小 蔡 也 对 广告 条 功能 做 了 测试 ， 因 为 
各 种 浏览 器 上 进行 了 测试 ， 验 证 结果 都 很 正常 。 

















已 经 知道 在 三 种 浏览 器 显示 空白 的 Bug 卡 还 没有 被 开发 修复 ， 因 此 小 蔡 就 没有 测试 这 三 种 浏览 器 ， 而 是 在 其 他 














但 是 ， 在 这 次 部 署 中 这 些 广告 条 就 被 错误 地 集成 到 房产 列表 页 面 中 ， 导 致 页 面 在 这 三 种 浏览 器 上 出 现 了 HTTP 500 ERROR 异 常 。 











问题 发 现 了 ， 也 就 是 虽然 之 前 在 测试 广告 条 的 时 候 有 Bug 卡 记录 广告 条 在 这 三 种 浏览 器 上 不 能 正常 显示 ， 但 不 是 所 有 人 都 记得 这 张 卡 的 存在 ， 包 括 国外 项 目 组 负责 部 署 的 交付 项 目 组 长 。 
所 以 他 把 这 个 集成 广告 条 到 房产 信息 列表 的 功能 部 署 进 了 产品 环境 ， 实 际 上 部 署 时 这 部 分 功能 还 属于 半成品 。 所 以 ， 问 题 就 来 了 ! 


























4 后续 改 进 “ 如 何 防止 半成品 再 次 被 部 署 到 新 环境 ” 


如 何 避 免 此 类 页 面 崩 演 问题 呢 ? 小 蔡 所 在 的 团队 在 分 析 过 后 是 这 样 具体 操作 的 : 








(1) 改进 措施 1: 对 半成品 功能 增加 软 开关 














在 定期 部 署 时 ， 总 会 出 现 有 些 功 能 做 了 一 半 还 没有 完成 ， 这 类 功能 需要 被 一 个 软 开关 Feature toggle 在 后 台 进 行 控制 ， 所 以 这 部 分 半成品 的 代码 即使 被 部 署 到 了 产品 环境 ， 但 因为 软 开关 











处 于 OFF 的 状态 ， 最 终 用 户 也 看 不 到 半成品 的 功能 。 这 次 出 现 广告 条 在 三 种 浏览 器 上 崩溃 的 问题 ， 就 是 因为 没有 使 用 软 开 关 。 正 常 的 流程 是 当 一 个 功能 需要 拆 分 为 多 张 卡 去 做 开发 时 ， 应 当先 
给 该 功能 增加 一 个 软 开 关 ， 直 到 该 功能 所 有 关联 卡 都 完成 后 ， 再 打开 这 个 软 开关 去 允许 用 户 使 用 。 











(2) 改进 措施 2: 增加 对 不 同 浏览 器 的 自动 化 测试 














由 于 Selenium 支 持 指定 浏览 器 版 本 进行 测试 ， 例 如 可 以 通过 使 用 不 同 的 浏览 器 驱动 去 测试 Chrome、FireFox、|IE 等 浏览 器 。 所 以 在 小 蔡 的 团队 ， 为 了 解决 这 个 问题 ， 他 们 可 以 改进 自动 
化 测试 脚本 ， 让 自动 化 测试 在 所 需要 支持 的 各 种 浏览 器 都 能 自动 运行 ， 进 而 帮助 提前 发 现 和 阻止 错误 的 发 生 。 








(3) 改进 措施 3: 把 JRA 上 功能 有 联系 的 卡 关联 起 来 








JIRA 是 项 目 组 使 用 的 缺陷 管理 工具 ， 它 提供 的 一 个 功能 是 可 以 把 多 个 卡 关联 起 来 。 这 样 当 有 人 做 部 署 时 ， 通 常 首 先 会 查看 卡 的 详细 信息 ， 如 果 他 发 现 这 个 卡 有 关联 卡 ， 而 且 关 联 的 卡 还 没 
有 做 完 ， 或 者 关联 的 Bug 还 没有 被 修复 ， 那 么 就 不 会 去 部 署 ， 也 可 以 避免 软件 半成品 被 部 署 到 产品 环境 的 情况 发 生 。 



































10.11 小 结 











为 了 避免 在 需求 澄清 过 程 中 出 现 问题 ， 笔 者 推荐 使 用 实例 化 需求 的 方式 来 检视 需求 ， 并 且 配 合 测试 用 例 设计 的 方法 ， 保 证 有 效 的 测试 覆盖 率 ， 达 到 减少 需求 遗漏 的 可 能 性 。 




















而 针对 测试 环境 ， 笔 者 建议 在 开发 、 测 试 以 及 部 署 过 程 中 ， 采 取现 在 通用 的 使 用 Docker 这 种 容器 化 或 者 使 用 AWS 这 种 虚拟 化 的 基础 设施 ， 以 保证 开发 、 测 试 、 生 产 环境 的 一 致 性 。 对 于 
运 维 中 的 问题 ， 很 多 已 有 的 工具 可 以 为 测试 人 员 提 供 便利 ， 我 们 可 以 有 效 地 使 用 这 些 工具 来 提高 测试 效率 ， 例 如 Splunk 和 Omniture。 














附录 A ”敏捷 测试 中 的 Web 测 试 优秀 实践 


说 到 Web 测 试 的 优秀 实践 ， 不 得 不 提 到 敏捷 开发 流程 。 不 同 于 瀑布 流程 ， 测 试 在 敏捷 开发 流程 中 ， 涵 盖 了 从 项 目 启动 到 产品 上 线 的 各 个 环节 。 所 以 我 们 对 于 Web 测 试 的 优秀 实践 也 是 基 
于 敏捷 开发 流程 的 。 





下 | 








回 








我 们 就 从 项 目 全 局 、 和 迭代 和 故事 卡 三 个 角度 出 发 ， 向 大 家 介绍 Web 测 试 的 优秀 实践 。 





(1) 项 目 全 局 角度 看 测试 实践 


从 整个 项 目 全 局 的 角度 来 说 ,测试 人 员 一 般 会 介入 如 图 A-1 所 示 的 两 个 阶段 。 


项 目 局 动 阶 自 项 目 初始 阶段 


测 | 和 人 
测试 可 行 性 自动 化 测试 框架 


了 解 业务 需求 ara 


自动 化 测试 编程 语言 
测试 工具 
测试 策略 和 计划 


行为 驱动 开发 (BDD) 
实例 化 需求 (SBE ) 
非 功 能 性 需求 





图 A-1 项 目 全 局 角度 中 测试 人 员 的 实践 
在 项 目 启动 (inception) 阶段 ， 不 仅 是 业务 方 、 业 务 分 析 人 员 、 网 站 设计 人 员 和 开发 人 员 需 要 参加 ， 测 试 人 员 也 是 需要 参加 项 目 启动 或 者 初始 会 议 的 。 在 这 一 活动 中 ， 测 试 人 员 从 测试 


的 角度 出 发 ， 分 析 测 试 的 可 行 性 ， 以 及 了 解 业务 需求 。 通 常 测试 人 员 会 使 用 行为 驱动 开发 (BDD) 和 实例 化 需求 (SBE) 的 方式 来 理 清 需求 ， 避 免 需求 歧义 或 者 遗漏 需求 的 情况 发 生 。 测 试 人 
员 还 会 挖掘 除了 功能 需求 外 ， 项 目 开发 过 程 中 需要 添加 的 各 项 非 功能 性 需求 ， 例 如 性 能 指标 和 产品 安全 性 等 。 





在 项 目 初始 阶段 ， 测 试 人 员 通 过 分 析 产 品 的 架构 和 开发 团队 的 技术 栈 ， 通 过 技术 选 型 ， 选 择 适 合 项 目的 自动 化 测试 框架 及 编程 语言 ， 以 及 其 他 适用 于 项 目 并 能 提高 测试 效率 的 工具 。 同 时 
测试 人 员 还 需要 根据 敏捷 测试 四 象限 ( 见 图 A-2) 来 制定 测试 策略 和 计划 ， 用 于 下 一 阶段 迭代 开发 中 的 测试 。 
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图 A-2 敏捷 测试 四 象限 


(2) 迭代 角度 看 测试 实践 


从 每 个 挝 代 的 角度 来 看 ， 测 试 工作 会 涉及 如 图 A-3 所 示 的 内 容 。 


迭代 开始 迭代 后 期 迭代 结束 前 其 他 实践 

缺陷 大 扫除 

线 上 问题 回顾 
代码 评审 


迭代 启动 会 议 产 癌 演示 本 缺陷 分 析 


故事 卡 佑 算 获得 反馈 | 改进 会 议 





图 A-3 和 迭代 角度 中 测试 人 员 的 实践 


在 迭代 开始 时 ,测试 人 员 汇 同业 务 分 析 人 员 和 开发 人 员 一 起 举行 迭代 启动 会 议 (iteration plan meeting) 。 在 会 议 上 制定 详细 的 迭代 开发 计划 ， 并 对 每 张 故事 卡 (story card) 进行 工 
作 量 的 估算 (estimation) 。 故 事 卡 的 估算 是 基于 点 数 的 ， 而 点 数 是 相对 于 基准 故事 卡 点 数 的 度量 ， 这 个 值 不 仅 要 包含 开发 这 张 故 事 卡 所 付出 的 开发 人 员 的 工作 量 ， 还 需要 包含 测试 人 员 进行 
测试 的 工作 量 ， 因 为 没有 测试 的 故事 卡 也 是 不 能 交付 客户 的 ， 也 就 是 没有 客户 价值 的 。 





在 每 个 迭代 的 后 期 ,测试 人 员 通 常 还 需要 准备 好 类 生产 环境 ， 设 定好 涵盖 在 上 一 次 演示 后 新 增 的 所 有 功能 的 演示 脚本 ， 并 给 业务 团队 进行 产品 演示 (showcase) ， 以 获取 反馈 和 进一步 
改进 的 建议 。 





在 每 个 迭代 结束 前 ， 甚 至 在 缺陷 达到 一 定数 量 的 时 候 ， 测 试 人 员 还 需要 对 新 增 的 缺陷 进行 分 析 ， 找 出 它们 出 现 的 根本 原因 ， 召 开 缺 陷 改 进 会 议 ， 探 讨 改进 措施 ， 避 免 缺 陷 的 再 一 次 出 现 。 
缺陷 改进 会 议 通常 和 新 一 期 的 迭代 启动 会 议 一 起 举行 ， 因 为 当 分 析 了 缺陷 产生 的 原因 之 后 ， 才 能 在 新 的 迭代 中 进行 修正 和 避免 。 








除 此 之 外 ,测试 人 员 还 会 不 定期 地 组 织 缺陷 大 扫除 (bug bash) 和 线 上 问题 回顾 (post incident review) 这 样 的 团队 活动 。 缺 陷 大 扫除 (http://insights.thoughtworkers.org/bug- 
bash/) 不 仅 能 让 团队 其 他 人 员 协 助 测试 人 员 从 新 的 角度 发 现 产品 的 问题 ， 还 可 以 培养 整个 团队 的 质量 意识 。 而 线 上 问题 回顾 同样 可 以 让 团队 了 解 问题 的 根本 原因 ， 从 而 更 好 地 构建 产品 。 























测试 人 员 还 需要 参与 代码 评审 (code review) 。 在 这 一 过 程 中 ， 测 试 人 员 不 仅 需 要 评审 和 学 习 开发 人 员 编写 的 产品 代码 ， 也 需要 演示 自己 编写 的 自动 化 测试 代码 供 开发 人 员 评 审 。 这 样 
测试 人 员 也 更 容易 学 习 到 开发 人 员 的 开发 技巧 ， 提 高 编程 水 平 。 














(3) 故事 卡 角度 看 测试 实践 


在 介绍 迭代 中 的 优秀 测试 实践 时 ， 我 们 并 没有 涉及 故事 卡 开发 中 的 测试 ， 那 我 们 现在 来 看 看 这 一 阶段 中 有 哪些 优秀 实践 。 
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图 A-4 故事 卡 角度 中 测试 人 员 的 实践 





首先 ， 在 业务 分 析 人 员 完 成 故事 卡 的 拆 分 以 及 分 析 后 ， 测 试 人 员 需 要 评审 故事 卡 的 验收 条 件 (acceptance criteria) 并 撰写 对 应 的 测试 用 例 /场景 。 这 比 测试 人 员 根 据 业务 分 析 人 员 发 送 
给 开发 和 测试 人 员 的 需求 文档 来 测试 使 测试 前 移 了 很 多 ， 而 且 也 保证 了 后 续 活动 能 顺利 执行 。 





其 次 ， 测 试 人 员 需 要 和 业务 分 析 人 员 以 及 开发 人 员 一 起 参与 故事 卡 的 启动 (kick off) 会 议 。 虽 然 说 是 会 议 ， 可 是 经 常 是 三 方 人 员 聚 在 卡 墙 (story wall) 前 进行 简短 的 讨论 。 通 常会 由 开 
发 人 员 来 描述 故事 卡 的 业务 需求 、 涵 盖 的 内 容 以 及 验收 标准 ， 而 测试 人 员 和 业务 分 析 人 员 则 进行 补充 和 提问 ， 以 便 所 有 人 对 于 故事 卡 内 容 的 理解 能 达成 一 致 。 同 时 所 有 人 也 会 对 测试 人 员 编写 








的 测试 用 例 进行 评审 。 





























之 后 在 进行 故事 卡 开 发 时 ， 测 试 人 员 会 按照 测试 金字 塔 (test pyramid) 的 分 层 原 则 ， 和 开发 人 员 讨 论 如 何 把 测试 用 例 尽量 用 更 底层 的 测试 来 实现 ， 以 达到 提高 测试 效率 ， 并 同时 保证 测 
试 覆盖 率 的 目标 。 对 于 可 以 完全 被 单元 测试 和 集成 测试 覆盖 的 测试 用 例 ， 测 试 人 员 会 交 由 开发 人 员 实 现 ; 对 于 部 分 未 被 覆盖 的 测试 用 例 ， 测 试 人 员 会 通过 手动 测试 或 者 端 到 端 自动 化 测试 的 方 
式 覆 羡 。 






































在 开发 人 员 开发 故事 卡 的 同时 ， 测 试 人 员 会 按照 自动 化 测试 的 框架 以 及 页 面 对 象 模式 编写 故事 卡 对 应 的 端 到 端 自动 化 功能 测试 、 集 成 测试 和 其 他 诸如 性 能 测试 等 非 功 能 性 测试 。 这 一 工作 
也 可 能 适合 与 开发 人 员 进 行 结对 编程 (pair programming) 完成 。 在 结对 编程 中 ， 开 发 人 员 能 学 习 到 测试 人 员 的 思维 方式 ， 减 少 自己 代码 的 出 错 率 ; 测试 人 员 也 能 学 习 到 更 多 的 开发 技巧 。 
自动 化 测试 编写 完成 后 ， 也 会 提交 到 代码 库 中 ， 在 每 次 开发 人 员 提 交代 码 时 ， 都 在 持续 集成 环境 中 不 断 运行 。 团 队 所 有 人 员 需 要 保证 每 次 代码 提交 都 能 通过 所 有 的 测试 。 
































当 开 发 人 员 结束 故事 卡 的 开发 时 ， 测 试 人 员 和 业务 分 析 人 员 会 在 开发 人 员 的 开发 机 器 上 验证 代码 是 否 满足 故事 卡 的 业务 需求 ， 也 就 是 进行 故事 卡 检 查 (desk check) 并 且 对 开发 人 员 编写 
的 各 种 测试 进行 评审 ， 确 保 测试 覆盖 率 和 测试 的 准确 性 。 




















当 故 事 卡 检查 通过 之 后 ， 测 试 人 员 就 可 以 进行 探索 性 测试 和 系统 测试 了 。 这 时 测试 人 员 可 以 通过 各 种 探索 性 测试 的 技巧 ， 例 如 快速 测试 (rapid testing) 以 及 基于 测 程 (Session 
based) 的 探索 性 测试 等 ， 进 行 系统 测试 。 





























在 测试 结束 后 ， 测 试 人 员 根据 和 业务 团队 的 约定 ， 马 上 或 者 定期 给 业务 团队 进行 故事 卡 的 演示 (showcase) 。 如 果 业 务 团队 有 更 新 的 需求 ， 也 是 通过 测试 人 员 反 馈 并 创建 新 的 故事 卡 
的 。 只 有 业务 团队 接受 故事 卡 的 完成 情况 时 ， 一 张 故 事 卡 才 算 正式 完成 了 。 















































在 开发 机 器 验证 和 正式 的 测试 阶段 ， 一 旦 发 现 了 缺陷 ， 一 般 来 说 会 直接 把 故事 卡 推 回 开发 阶段 中 ， 从 而 使 缺陷 得 到 快速 修复 。 但 是 当 测试 完成 后 如 果 发 现任 何 缺陷 ， 都 需要 创建 新 的 缺陷 
卡 来 记录 和 跟踪 缺陷 的 修复 情况 。 因 为 此 时 故事 卡 的 开发 已 经 结束 ， 需 要 更 多 时 间 来 修复 相应 的 缺陷 。 


从 这 些 优 秀 测试 实践 的 介绍 中 可 以 发 现 ， 测 试 人 员 全 面 而 深入 地 参与 到 项 目 开发 的 每 一 个 环节 ， 成 为 项 目 中 不 可 或 缺 的 重要 角色 。 








细心 的 读者 会 发 现 我 们 介绍 Web 测 试 的 优秀 实践 ， 并 不 包含 除了 测试 本 身 之 外 别 的 工作 职责 ， 例 如 开发 流程 改进 和 和 迭代 发 布 计划 管理 等 ， 其 实 这 些 职责 也 是 测试 人 员 可 以 承担 并 且 发 挥 巨 
大 作用 的 。 





附录 B 测试 人 员 职 业 友 展 之 路 








在 我 们 开始 尝试 为 大 家 描述 软件 测试 工作 的 多 种 可 能 性 之 前 ， 先 来 看 看 在 现在 所 知 最 近代 的 开发 模式 中 ， 测 试 人 员 还 会 继续 存在 吗 ” 因 为 如 果 连 测试 工作 本 身 都 不 存在 了 ， 我 们 也 没 必要 
进行 后 续 的 讨论 了 。 




















很 多 做 测试 的 朋友 问 过 这 样 一 个 问题 : “现在 敏捷 开发 模式 中 ， 自 动 化 测试 那么 流行 ， 而 且 连 开发 人 员 都 开始 做 测试 了 ， 是 不 是 以 后 就 没有 测试 人 员 了 ?“ 





其 实 我 在 这 里 可 以 肯定 地 告诉 大 家 现实 并 不 是 这 样 的 。 








首先 ， 我 们 需要 讨论 的 是 分 工 的 问题 。 人 类 的 工业 化 生产 最 初 也 是 不 分 工 的， 但 随 着 生产 技术 复杂 度 的 提升 ， 以 及 对 生产 效率 的 更 高 要 求 ， 产 生 了 分 工 ; 同样 对 软件 开发 来 说 也 是 一 样 ， 
最 开始 并 没有 测试 人 员 和 需求 分 析 人 员 ， 而 都 是 开发 人 员 。 随 着 软件 项 目的 复杂 度 以 及 要 求 的 提高 ， 慢 慢 产 生 了 工作 种 类 的 分 化 ， 由 此 产生 了 专门 做 测试 的 人 员 ， 也 就 是 测试 人 员 。 由 此 看 
来 ， 并 不 是 有 了 测试 这 样 一 个 职位 ， 才 诞生 了 相应 的 工作 和 职责 ， 而 恰恰 相反 ;如果 想 取 消 这 个 职位 ， 但 是 相应 的 工作 和 职责 并 没有 消除 ， 在 我 看 来 ， 无 非 就 是 把 这 个 职位 换 一 个 名 称 ， 或 者 
是 和 别 的 职位 的 工作 与 职责 重新 排列 组 合 而 已 。 


















































其 次 ， 我 们 需要 明确 什么 是 测试 的 核心 ， 是 自动 化 测试 ， 还 是 测试 报告 ， 抑 或 探索 性 测试 呢 》 其 实 都 不 准确 ， 我 认为 测试 用 例 设 计 才 是 软件 测试 的 灵魂 。 没 有 恰如其分 的 测试 用 例 设计 ， 
软件 测试 很 容易 误 入 歧途 : 导致 没有 目标 的 盲目 测试 ， 不 考虑 投入 产 出 比 的 自动 化 测试 ， 不 从 全 局 优化 的 、 割 裂 的 单元 测试 、 集 成 测试 和 系统 测试 等 。 测 试用 例 设计 也 是 需要 熟练 运用 测试 用 
例 设计 方法 ， 并 且 结 合 测试 人 员 的 经 验 和 智慧 才能 设计 出 来 的 ， 这 同样 是 测试 人 员 不 同 于 软件 开发 团队 中 的 其 他 角色 ， 需 要 不 断 积累 的 关键 一 点 。 如 果 说 在 敏捷 开发 模式 中 ， 开 发 人 员 可 以 完 
成 单元 测试 和 自动 化 测试 ， 业 务 分 析 人 员 也 可 以 进行 探索 性 测 斌 的话， 测试 人 员 唯 一 不 能 被 取代 的 就 是 测试 用 例 的 设计 。 如 果 说 描述 得 更 全 面 一 些 ， 即 使 要 让 别 的 角色 替代 测试 人 员 ， 至 少 他 
们 也 需要 具备 测试 用 例 设计 的 能 力 ， 而 这 种 能 力 需要 长 时 间 的 锻炼 和 运用 才能 具备 。 













































































最 后 ， 虽 然 测 试 工作 并 不 会 消失 ， 但 是 测试 人 员 也 需要 进化 ， 需 要 跟随 新 的 软件 开发 模式 ， 不 断 学 习 ， 不 断 进 步 ， 保 持 自己 的 必要 性 和 特殊 性 。 举 例 来 说， 在 敏捷 开发 模式 中 ， 测 试 人 员 
不 仅仅 是 根据 需求 编写 测试 计划 和 用 例 ， 并 且 手 动 执行 ， 给 出 测试 报告 就 好 了 。 而 是 需要 测试 前 移 ， 在 需求 分 析 阶 段 尽 可 能 地 发 现 和 预防 问题 ， 在 开发 过 程 中 避免 问题 的 产生 ， 并 且 通 过 问题 
分 析 指 导 开发 方向 和 改进 措施 ; 同时 需要 测试 范围 扩大 ， 不 仅 需要 覆盖 软件 开发 阶段 ， 还 需要 履 盖 产品 上 线 部 署 以 及 运 维 的 相关 活动 ， 甚 至 是 通过 分 析 用 户 反 馈 来 提高 产品 质量 。 可 以 看 出 敏 
捷 中 测试 人 员 的 任务 和 职责 更 多 了 ， 这 就 需要 我 们 充分 发 挥 自己 的 聪明 才智 ， 更 高 效 地 分 析 和 解决 问题 ， 更 快速 地 学 习 各 项 技能 ， 同 时 注重 各 项 实践 的 运用 。 





















































既然 测试 工作 并 不 会 消失 ， 并 且 敏 捷 开发 模式 会 带 给 我 们 新 的 机 遇 和 挑战 ， 那 对 于 测试 人 员 来 说 ， 职 业 发 展 的 方向 又 有 哪些 呢 ? 

















首先 ， 我 们 需要 明确 想 通过 测试 作为 跳板 ， 去 做 开发 类 和 管理 类 等 工作 不 在 我 们 的 探讨 范围 内 。 很 多 测试 人 员 在 选择 软件 测试 作为 职业 的 时 候 ， 其 实 更 优先 选择 的 是 软件 开发 的 职位 ， 种 
种 原因 与 开发 职位 失之交臂 后 ， 只 好 选择 软件 测试 作为 自己 的 职业 。 一 旦 有 了 合适 的 机 会 ， 他 们 会 选择 成 为 开发 人 员 ， 这 样 的 职业 发 展 不 在 我 们 的 讨论 之 列 。 另 一 类 测试 人 员 对 于 软件 测试 其 
实 没有 热情 ， 仪 仅 把 软件 测试 作为 养家 糊口 的 工作 ， 和 希望 通过 工作 年 限 的 增长 增加 自己 的 薪水 ， 更 多 希望 工作 时 间 短 ， 不 用 加 班 ， 这 样 可 以 保证 更 好 的 家 庭 生活 。 选 择 这 种 工作 和 人 生活 方式 是 
个 人 自由 ， 但 是 也 不 是 我 们 想 进 行 讨论 的 。 还 有 一 类 测试 人 员 ， 希 望 通过 短期 的 软件 测试 工作 中 突出 表现 ， 得 到 管理 者 的 赏识 ， 从 而 进入 管理 层 ， 这 样 的 职业 发 展 也 不 是 我 们 讨论 的 。 

























































































其 次 ， 我 们 现在 所 知道 的 最 近代 也 是 最 流行 ， 甚 至 可 以 说 最 先进 的 软件 开发 模式 是 敏捷 开发 模式 ， 所 以 我 们 对 于 测试 人 员 的 职业 技能 发 展 也 是 基于 敏捷 开发 模式 来 分 析 的 ， 如 果 有 更 新 的 
开发 模式 出 现 ， 这 些 分 析 和 定义 也 许 会 失效 。 


在 知悉 这 两 点 之 后 ， 那 我 们 认为 对 于 测试 人 员 来 说 ， 在 保证 测试 人 员 的 独特 性 ， 也 就 是 做 好 测试 用 例 设 计 的 基础 上 ， 职 业 发 展 大 致 可 以 分 为 以 下 几 类 方向 〈 见 图 B-1) 。 











ge , 俩 回 于 运 维 
偏 问 于 测试 能 力 建 设 


E> 偏 问 于 专项 测试 能 力 
俩 回 于 需求 方面 一 一 一 一 测试 人 员 


俩 问 于 测试 咨询 


偏 问 于 开发 辅助 ee 和 
偏 问 于 目 动 化 测试 


图 B-1 测试 人 员 职 业 发 展 方向 











1) 偏向 于 需求 方面 的 测试 人 员 。 我 们 说 过 在 敏捷 开发 模式 中 ， 测 试 前 移 ， 测 试 人 员 会 更 多 地 接触 需求 分 析 ， 从 需求 分 析 阶 段 尽 可 能 地 发 现 和 预防 问题 。 在 这 一 方面 现在 已 经 有 行为 驱动 
开发 和 实例 化 需求 等 方法 协助 测试 人 员 深 入 需求 分 析 阶 段 并 扩大 自己 的 影响 力 ， 与 此 同时 测试 人 员 也 需要 更 深入 了 解 产 品 所 在 的 行业 以 及 业务 知识 ， 成 为 业务 专家 ， 才 能 使 得 测试 分 析 更 有 洞 
见 。 




















2) 偏向 于 开发 辅助 的 测试 人 员 。 在 敏捷 开发 模式 中 ， 开 发 人 员 不 仅 需要 编写 单元 测试 的 代码 ， 有 可 能 还 需要 编写 自动 化 测试 代码 ， 所 以 为 开发 人 员 提供 好 的 工具 ， 使 他 们 能 更 快速 、 更 
准确 、 更 全 面 地 添加 和 执行 测试 也 是 测试 人 员 可 以 发 展 的 方向 之 一 。 
































3) 偏向 于 自动 化 测试 的 测试 人 员 。 正 如 上 一 条 所 说 ， 开 发 人 员 有 可 能 编写 自动 化 测试 ， 同 时 测试 人 员 也 是 可 以 自己 进行 编写 的 。 而 且 对 于 自动 化 测试 ， 测 试 人 员 不 仅 需要 分 析 项 目的 架 
构 和 技术 栈 ， 选 择 最 适合 项 目的 自动 化 测试 框架 和 编程 语言 ， 还 需要 从 头 开始 搭 建 自动 化 测试 框架 ， 并 完善 相关 的 自动 化 测试 配套 内 容 ， 诸 如 测试 数据 管理 、 测 试 并 发 执行 、 测 试 方法 封装 、 
测试 脚本 的 设计 等 内 容 。 



































4) 偏向 于 运 维 的 测试 人 员 。 测 试 不 仅 需 要 前 移 到 需求 分 析 阶 段 ， 还 需要 覆盖 产品 交付 和 线 上 监控 及 分 析 ， 以 便 快速 发 现 问题 和 指导 下 一 阶段 的 开发 。 这 就 需要 我 们 要 了 解 更 多 和 环境 与 
监控 相关 的 技术 以 及 工具 ， 例 如 亚 马 进 AWS，New Relic，Splunk 和 PagerDuty 等 。 我 们 不 仅 需 要 熟练 使 用 这 些 技术 和 工具 ， 更 重要 的 是 分 析 从 这 些 技术 和 工具 得 到 的 数据 ， 形 成 有 意义 和 目 
的 的 协助 开发 团队 提高 的 行动 计划 。 
































5) 偏向 于 专项 测试 能 力 的 测试 人 员 。 测 试 人 员 不 仅 需要 在 知识 的 广度 得 到 发 展 ， 还 需要 深入 特定 的 技术 ， 称 为 某 项 技术 的 测试 专家 ， 例 如 前 端 测试 、 数 据 库 测 试 、 性 能 测试 、 安 全 性 测 
试 和 可 用 性 测试 等 。 这 样 测试 人 员 就 不 局 限于 某 个 特定 的 项 目 ， 而 是 变 成 了 可 以 跨越 项 目的 具备 特定 测试 技术 的 技术 专家 。 





























6) 偏向 于 测试 咨询 的 测试 人 员 。 测 试 人 员 通 过 在 敏捷 开发 模式 中 测试 深入 开发 的 整个 流程 和 细节 ， 在 具备 了 丰富 的 项 目 经 验 和 技术 能 力 后， 可 以 输出 对 软件 测试 甚至 整个 开发 过 程 的 总 
结 及 认识 ， 帮 助 更 多 的 团队 解决 当前 的 问题 ， 提 高 团队 测试 技术 能 力 和 意识 ， 进 一 步 优化 产品 的 质量 。 这 也 是 测试 人 员 实 现 更 大 的 自我 价值 的 一 种 途径 。 


























7) 偏向 于 测试 能 力 建设 的 测试 人 员 。 在 上 一 条 发 展 路 径 的 基础 上 ， 测 试 人 员 还 可 以 进一步 升华 成 为 使 开发 团队 具备 或 者 提高 测试 能 力 ， 进 行 测试 转型 ， 甚 至 团队 转型 的 关键 性 指导 人 
移 。 而 且 通 常 这 种 测试 人 员 会 同时 负责 多 个 团队 ， 而 且 人 数 一 般 很 少 。 



























































也 许 你 认为 前 几 种 测试 人 员 相 对 来 说 更 偏向 于 技术 ， 容 易 在 团队 内 实现 ， 而 后 几 种 更 像 是 给 广大 的 测试 人 员 画 饼 ， 并 不 一 定 能 实现 ， 只 是 描述 一 个 可 能 性 而 已 。 其 实 这 几 种 测试 人 员 的 发 


展 之 路 是 根据 我 们 实践 的 测试 人 员 的 规划 得 出 的 ， 也 就 是 说 我 们 是 有 真实 的 人 物 发 展 作为 依据 的 。 所 以 当 大 家 被 自己 工作 中 的 现实 所 打击 到 的 时 候 ， 不 要 动摇 我 们 可 以 做 更 好 更 强大 的 测试 人 
员 的 决心 和 目标 ， 而 是 更 积极 地 向 那个 方向 努力 。 
































最 后 ， 我 们 想 告诉 读者 : 产品 质量 并 不 只 是 软件 测试 人 员 的 责任 ， 更 是 需要 整个 团队 都 关注 的 内 容 。 只 有 给 予 软件 测试 人 员 足 够 的 关注 和 重视 ， 我 们 才能 充分 发 挥 每 个 人 的 特点 ， 合 力 推 
动产 品质 量 的 进一步 提高 。 从 另 一 方面 ， 软 件 测试 人 员 也 需要 意识 到 自身 技能 的 缺失 ， 强 化 技能 水 平 ， 成 为 团队 可 以 依赖 和 值得 信赖 的 一 员 。 














